Начните с четырёх исходов
Пусть проверочная партия содержит сто упаковок. Десять действительно повреждены, девяносто исправны. Система отметила девять повреждённых и ещё девять исправных. Одну повреждённую она пропустила, а восемьдесят одну исправную правильно оставила без отметки. Получились четыре группы: правильно найденный дефект, ложная тревога, пропущенный дефект и правильно распознанное отсутствие дефекта. Все они важны. Если смотреть только список отмеченных упаковок, пропущенная повреждённая вещь вообще исчезнет из анализа. Поэтому для проверки необходимы сведения о фактическом состоянии всех объектов, а не только о тех, на которые обратила внимание система.
У процентов разные знаменатели
Полнота обнаружения отвечает на вопрос, какую часть настоящего брака нашли. В нашем примере найдены девять повреждённых упаковок из десяти: полнота составляет девяносто процентов. Точность срабатываний отвечает на другой вопрос: какая доля отмеченных упаковок действительно повреждена. Отметок восемнадцать, верных среди них девять, поэтому точность срабатываний равна пятидесяти процентам. Есть и доля правильных решений среди всех объектов. Система верно отметила девять повреждённых и правильно не отметила восемьдесят одну исправную упаковку. Всего девяносто правильных решений из ста. Это снова девяносто процентов, но совпадение чисел не делает показатели одинаковыми. Они используют разные группы для сравнения и описывают разные свойства работы.
Метрика должна соответствовать последствиям ошибки
Ложная тревога направляет исправную упаковку на лишнюю проверку. Пропуск оставляет повреждение незамеченным. Насколько тяжела каждая ошибка, зависит от процесса: стоимости проверки, вида повреждения и дальнейшего использования. Одного универсального процента для всех задач недостаточно. Даже система, которая в этой партии никогда не отмечает брак, получит девяносто процентов правильных решений: исправных упаковок девяносто. При этом она пропустит все десять дефектов. Такое сравнение показывает, зачем проверять результат относительно простого исходного правила. Кроме того, качество на одной партии не гарантирует такое же поведение на новых материалах, освещении или типах повреждений. Условия проверки являются частью вывода.
Попробуйте на практике
Разберите вымышленную партию на бумаге. Используйте четыре группы из примера и не переносите полученные проценты на реальные системы.
- Нарисуйте четыре клетки для правильно найденных дефектов, ложных тревог, пропусков и правильных отрицательных решений. Впишите соответственно девять, девять, один и восемьдесят один.
- Проверьте общую сумму: должно получиться сто упаковок. Отдельно сложите все реально повреждённые и все отмеченные системой.
- Вычислите три показателя, каждый раз проговаривая знаменатель: долю найденных среди повреждённых, долю повреждённых среди отмеченных и долю верных решений среди всех.
- Сравните результат с правилом никогда не отмечать повреждение. Запишите, почему одинаковая общая доля правильных решений скрывает принципиально разную способность обнаруживать брак.
Как проверить результат. Получены полнота девяносто процентов, точность срабатываний пятьдесят процентов и общая доля правильных решений девяносто процентов. Для правила без отметок полнота равна нулю, хотя общая доля правильных решений тоже девяносто процентов.
Частые вопросы
Почему нельзя просто сообщить одну метрику качества?
Можно выбрать главную метрику под задачу, но без пояснений она скрывает другие ошибки. Полезно указывать, что измерено, на каких данных и какие последствия имеют пропуски и ложные тревоги.
Означает ли отметка модели доказанный дефект?
Нет. В примере половина отметок относится к исправным упаковкам. Сигнал системы и подтверждённое состояние объекта различаются. Дальнейшие действия должны учитывать проверенную надёжность модели и требования конкретного процесса.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.