Частое отсутствие события поднимает общий показатель
Если событие встречается редко, стратегия всегда отрицать его может давать много правильных ответов без умения распознавать само событие. Это важно не только для учебного примера с дождём, но и для других задач предупреждения. Поэтому общую точность полезно сравнивать с простым исходным правилом и отдельно смотреть на случаи наступления события. В нашем примере высокая доля совпадений получена главным образом на девяноста пяти сухих днях. Она не сообщает, удалось ли выделить те пять дней, ради которых человеку могло понадобиться предупреждение.
Разделите четыре возможных исхода
У бинарного прогноза есть четыре сочетания: событие предсказано и случилось, предсказано и не случилось, не предсказано и случилось, не предсказано и не случилось. Первые и последние являются правильными ответами, но выполняют разную практическую роль. Рассмотрим вторую вымышленную систему: она предупредила о трёх дождливых днях, пропустила два, дала пять ложных предупреждений и правильно указала девяносто сухих дней. Всего она верна в девяноста трёх случаях из ста. Общая точность ниже, чем у постоянного отрицания, зато обнаружены три из пяти дождливых событий.
Выбор зависит от задачи и цены разных ошибок
Из сравнения не следует, что вторая система автоматически лучше для любого человека. Ложные предупреждения тоже имеют последствия: из-за них можно напрасно изменить план. Пропуск важного события может стоить иначе. Поэтому при оценке нужно заранее определить, для чего используется прогноз и какие ошибки существенны. Полезно смотреть одновременно на найденные события, пропуски и ложные тревоги, сохраняя одинаковые условия сравнения. Также нельзя превращать маленький учебный ряд в доказательство устойчивого качества реальной системы. Для такого вывода нужны подходящие данные за достаточный период, а не один удобный пример.
Попробуйте на практике
Сравните две вымышленные системы на бумаге по заданным ста дням. Это арифметическая модель; реальные прогнозы, погода и решения о безопасности здесь не оцениваются.
- Запишите исходные данные: пять дней с дождём и девяносто пять без дождя. Для системы А, всегда обещающей сухую погоду, посчитайте правильные ответы и пропущенные дождливые дни.
- Для системы Б запишите четыре числа: три верных предупреждения, пять ложных предупреждений, два пропуска и девяносто верных отрицательных ответов. Проверьте, что сумма равна ста.
- Посчитайте общую долю правильных ответов обеих систем и отдельно долю обнаруженных дождливых дней. Не смешивайте знаменатель сто дней со знаменателем пять событий.
- Сформулируйте два возможных интереса пользователя: уменьшить число пропусков и уменьшить число ложных предупреждений. Объясните, почему без уточнения задачи нельзя выбрать победителя только по одному проценту.
Как проверить результат. Система А имеет 95% правильных ответов и ноль найденных дождливых дней. Система Б имеет 93% правильных ответов, находит три из пяти событий и даёт пять ложных предупреждений. Все эти показатели сохранены в выводе.
Частые вопросы
Общая точность тогда вообще бесполезна?
Нет. Она описывает один аспект результата. Ошибка возникает, когда этот показатель принимают за полную оценку и не учитывают частоту события и различия между видами ошибок.
Можно сравнивать проценты из разных наборов дней?
Такое сравнение требует осторожности. Если частота событий и условия различаются, один процент может отражать особенности набора данных. Для честного сравнения полезно использовать сопоставимые случаи и одинаковые правила подсчёта.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.