Как я уменьшил шум мониторинга втрое
Мониторинг, которому не верят, хуже отсутствия мониторинга. Разбирался, почему алертов было слишком много.
Отправная точка: 300–400 событий в сутки, из них половина — следствия двух-трёх настоящих проблем. Дежурный перестаёт читать уведомления — это и есть главный риск.
Что сделал по шагам:
- Включил зависимости триггеров: если упал узел — не надо отдельных алертов по каждому сервису на нём.
- Разделил пороги на «предупреждение» и «аварию» и настроил авто-эскалацию только для второго.
- Сгруппировал уведомления по хосту и причине: одно сообщение на инцидент, а не на каждый элемент.
- Ввёл окна обслуживания автоматически — из системы выкладки, а не вручную.
Результат за месяц: 380 → 120 событий в сутки, доля ложных с 60% до 15%. Метрика, за которой слежу — не число событий, а время от первого сигнала до реакции.