Заметки инженера

Как я уменьшил шум мониторинга втрое

Мониторинг, которому не верят, хуже отсутствия мониторинга. Разбирался, почему алертов было слишком много.

Отправная точка: 300–400 событий в сутки, из них половина — следствия двух-трёх настоящих проблем. Дежурный перестаёт читать уведомления — это и есть главный риск.

Что сделал по шагам:

  1. Включил зависимости триггеров: если упал узел — не надо отдельных алертов по каждому сервису на нём.
  2. Разделил пороги на «предупреждение» и «аварию» и настроил авто-эскалацию только для второго.
  3. Сгруппировал уведомления по хосту и причине: одно сообщение на инцидент, а не на каждый элемент.
  4. Ввёл окна обслуживания автоматически — из системы выкладки, а не вручную.

Результат за месяц: 380 → 120 событий в сутки, доля ложных с 60% до 15%. Метрика, за которой слежу — не число событий, а время от первого сигнала до реакции.

← все заметки