Три набора с разными задачами
Обучающий набор нужен для изменения параметров нейросети. Проверочный, или валидационный, помогает сравнивать варианты и выбирать настройки. Тестовый откладывают для итоговой оценки выбранного решения. Если после каждого просмотра теста переделывать модель, этот набор фактически начинает участвовать в разработке и перестаёт быть независимым экзаменом. Название папки само по себе независимости не создаёт. Важнее, когда и для каких решений использовались её примеры. Сохраните это правило письменно до первого эксперимента.
Сходные фотографии тоже бывают подсказкой
Представьте, что одну чашку сфотографировали десять раз подряд на одинаковом столе. Если соседние кадры случайно разнести по обучению и тесту, проверка может оказаться слишком лёгкой. Для задачи распознавания новых предметов разумно разделять данные по самим предметам: все фотографии конкретной чашки остаются вместе. Это правило зависит от будущего применения. Для работы в незнакомых помещениях понадобится отдельно подумать о фонах и освещении. Проверка должна напоминать задачу, которую система встретит после разработки, а не удобный набор для красивого числа.
Как читать расхождение результатов
Допустим, в условном журнале обучения доля верных ответов на знакомых примерах выросла с 85 до 98 процентов, а на проверочных снизилась с 82 до 76. Это повод исследовать переобучение: модель лучше подстраивается под обучающий материал, но хуже переносит найденные закономерности. Одного числа мало: проверьте разметку и посмотрите конкретные ошибки. Возможно, тёмные тарелки почти отсутствуют среди учебных изображений. Увеличение числа слоёв не исправляет автоматически нехватку разнообразия. Иногда полезнее улучшить данные или остановить обучение раньше.
Протокол важнее удачного запуска
Записывайте версию данных, способ разделения, настройки и выбранную метрику. Меняйте один существенный фактор за раз, чтобы понимать результат. Преобразования, которые обучаются на данных, например вычисление среднего для нормализации, настраивают по обучающей части, затем применяют к остальным. Иначе информация из проверки проникнет в подготовку модели. Это называют утечкой данных. Даже корректная итоговая оценка относится к условиям проверки: она не гарантирует такую же точность для любой камеры, посуды или освещения.
Попробуйте на практике
Составьте бумажный план честной проверки вымышленного распознавателя посуды.
- Нарисуйте двенадцать карточек: по три изображения четырёх разных предметов, двух чашек и двух тарелок.
- Подпишите на каждой карточке предмет, фон и освещение; похожие кадры объедините в группы.
- Предложите разделение по предметам и отметьте, каких сочетаний не хватает для полноценной проверки.
- Нарисуйте три строки журнала: обучающий результат, проверочный результат и изменение, которое решили попробовать.
- Запишите правило, когда будет открыт итоговый тест и какие решения после этого уже нельзя считать независимыми от него.
Как проверить результат. Вы объясняете, почему соседние снимки одного предмета могут исказить оценку, различаете три назначения данных и замечаете, что двенадцать карточек служат иллюстрацией, а не достаточным набором для надёжной модели.
Частые вопросы
Всегда ли случайное разделение неправильно?
Нет. Оно бывает уместно для достаточно независимых примеров. Группы, временной порядок и условия будущего применения требуют отдельной проверки.
Можно ли сравнивать модели по разным тестам?
Прямое сравнение таких чисел ненадёжно: различаться может сложность примеров. Для сравнения нужны согласованные данные, метрика и условия оценки.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.