Публикуем всё, что заметили проверки, включая короткие деградации и плановые работы. Время московское. Разбор пишем для инцидентов дольше получаса и для всего, что задело данные.
Повышенная задержка API
11:18-12:00. Медиана ответа на /v1/products выросла до 3,2 с, часть клиентов завершала запросы по своему таймауту. Причина - план запроса, который после ночного роста таблицы остатков перестал попадать в индекс. Добавили индекс по паре контур-обновление, план вернулся, задержка упала до обычной за три минуты.
Разбор инцидента →Плановые работы: перенос хранилища
03:05-03:40. Переносили базу заказов на новый узел. Панель и API отвечали в режиме чтения, приём заказов и выгрузки были приостановлены. Объявляли за пять дней, уложились в окно.
Задержка доставки вебхуков
14:40-16:50. Очередь доставки росла: приёмник одного из контуров отвечал по 30 секунд, и его повторы занимали общие потоки. Медленные подписки вынесли в отдельный пул, очередь разобралась за 20 минут. Ни одно событие не потеряно, все доставлены с задержкой.
Ошибки в панели управления
18:02-18:27. После выката часть страниц панели отвечала ошибкой: миграция блокировала таблицу сессий дольше, чем ожидалось. Откатились через 6 минут после первого срабатывания, остальное время ушло на прогрев кешей. API и вебхуки затронуты не были.
Письма уходили с задержкой до часа
10:05-11:16. Внешний отправитель ограничил нам скорость после всплеска рассылки, и событийные письма встали в общую очередь. Развели событийные письма с массовыми по разным отправителям, очередь разошлась без потерь.
Инциденты старше 12 месяцев из ленты убираются. Нужен разбор по конкретной дате - запросите его из кабинета, мы храним журналы 13 месяцев.