Редкий класс легко потерять в общей доле
Пусть среди тысячи сканов двадцать повреждены, а остальные 980 нормальные. Система, которая всегда отвечает дефекта нет, получит 980 верных ответов, то есть 98 процентов. Однако она не обнаружит ни одной повреждённой страницы. Поэтому сначала полезно сравнить модель с таким простым ориентиром. Хороший результат должен отражать задачу поиска дефектов, а не только частоту наиболее распространённого класса. Распределение классов следует указывать рядом с метриками.
Четыре исхода делают ошибки видимыми
Для каждого скана сопоставьте решение модели с проверенной разметкой. Возможны обнаруженный дефект, пропущенный дефект, ложная тревога на нормальной странице и верное отсутствие тревоги. Допустим, другая модель нашла 15 повреждённых страниц, пропустила 5 и ошибочно отметила 15 нормальных. Ещё 965 нормальных она распознала правильно. Общая доля верных ответов снова равна 98 процентам. Но теперь система действительно находит часть дефектов, хотя половина её тревог оказывается лишней. Одинаковое итоговое число скрывает разное поведение.
Точность и полнота задают разные вопросы
Точность положительных предсказаний, или precision, показывает, какая часть отмеченных моделью страниц действительно повреждена. В примере это 15 из 30, то есть 50 процентов. Полнота, или recall, показывает, какая часть всех повреждённых страниц обнаружена: 15 из 20, то есть 75 процентов. Чтобы не путать показатели, начинайте со знаменателя. В первом случае смотрим на все тревоги модели, во втором — на все реальные дефекты. Слово точность без уточнения опасно двусмысленностью: им также называют общую долю верных ответов.
Метрики связывают с дальнейшим действием
Если тревога только отправляет скан на ручную проверку, ложное срабатывание увеличивает объём этой работы. Пропуск оставляет дефект незамеченным. Эти последствия различаются, поэтому выбор модели зависит от задачи. Не следует автоматически объявлять один показатель главным для любого применения. Кроме числа ошибок, изучайте сами примеры: возможно, система пропускает особый вид повреждения или реагирует на тёмный фон. Разметка тоже нуждается в проверке. Ошибка эталонной метки способна исказить оценку даже при безупречном вычислении формул.
Попробуйте на практике
Рассчитайте показатели для нового набора, используя только бумагу или калькулятор.
- Запишите: всего 200 страниц, из них 40 с дефектами.
- Модель обнаружила 30 дефектных страниц и ошибочно отметила ещё 20 нормальных; распределите остальные страницы по двум оставшимся исходам.
- Посчитайте общее число тревог и долю настоящих дефектов среди них.
- Разделите число обнаруженных дефектов на все 40 повреждённых страниц.
- Рассчитайте общую долю верных ответов и объясните, какую дополнительную информацию дают два предыдущих показателя.
Как проверить результат. Получаются 10 пропусков и 140 верных отрицательных ответов. Precision равна 60 процентам, recall — 75, общая доля верных ответов — 85. Знаменатели объяснены словами.
Частые вопросы
Можно ли сравнивать результаты на разных наборах?
Осторожно: различия могут объясняться составом и сложностью данных. Для прямого сравнения полезны согласованные условия и общий независимый набор.
Что означает положительный класс?
Это условное обозначение искомой категории, а не оценка её полезности. В нашем примере положительным назван дефект, потому что именно его требуется обнаружить.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.