1. Настройка порога
В реальном трафике атак обычно менее 1% — это делает проблему ложных срабатываний особенно острой.
Ползунок «дисбаланс» позволяет воспроизвести этот эффект.
2. Матрица ошибок
| Атака (actual positive) | Норма (actual negative) | |
|---|---|---|
| IDS сработал | 0 TP | 0 FP |
| IDS пропустил | 0 FN | 0 TN |
3. Ключевые метрики
Detection Rate (Recall)
—
TP / (TP + FN) — доля обнаруженных атак
False Positive Rate
—
FP / (FP + TN) — доля ложных срабатываний
Precision
—
TP / (TP + FP) — доля верных срабатываний
F1-score
—
Гармоническое среднее Precision и Recall
Accuracy
—
Доля правильных решений (осторожно при дисбалансе)
False Omission Rate
—
FN / (FN + TN) — пропущенные атаки
4. ROC-кривая
Кривая показывает компромисс между DR и FPR при всех возможных порогах. Текущая точка отмечена красным.
ROC-кривая
Случайный детектор
Текущий порог
Как интерпретировать
| Показатель | Что означает | Хороший уровень |
|---|---|---|
| DR / Recall | Какая доля атак обнаружена | > 90% |
| FPR | Как часто IDS «шумит» на нормальном трафике | < 1% |
| Precision | Насколько можно доверять срабатыванию | > 80% |
| AUC ROC | Качество ранжирования «атака vs норма» | > 0.9 |
| FOR | Как часто отсутствие алерта означает «норма» | чем меньше, тем лучше |
При доле атак 1% и FPR 5% точность IDS падает до ~17% — большинство алертов окажутся ложными.
Это ключевая причина, почему в SOC настраивают приоритизацию и корреляцию событий.
Задание
- Добейтесь DR ≥ 90% и одновременно FPR ≤ 1%. Какой порог для этого нужен при доле атак 5%?
- Снизьте долю атак до 1%. Оцените, как изменились Precision и F1 при том же пороге.
- Найдите порог, максимизирующий F1. Сравните его с порогом, максимизирующим Accuracy.
- Объясните, почему при сильном дисбалансе метрика Accuracy вводит в заблуждение.