Что именно должен проверить тест
Обучающие данные используют для настройки модели. Проверочные нужны, чтобы оценить её работу на примерах, не участвовавших в этой настройке. Представим задачу различать два вида предметов по фотографиям. Если одна и та же фотография находится и среди обучающих, и среди проверочных, граница между этапами нарушается. Модель может показать хороший результат на знакомом изображении, но это не подтверждает способность справляться с новыми снимками. Разделение по названиям папок ничего не гарантирует: важно содержание файлов и происхождение примеров.
Восемь записей ещё не означают восемь разных примеров
В нашем вымышленном списке фотографии имеют номера от первого до восьмого. Седьмая запись является точной копией второй, а восьмая — точной копией пятой. Допустим, первые пять записей отдали для обучения, а шестую, седьмую и восьмую оставили для проверки. В проверочной части формально три файла, но два уже представлены в обучающей. По условиям задачи новым относительно обучения является только шестой снимок. Мы не запускали нейросеть и не получили измеренной точности. Этот пример показывает проблему организации данных до любого эксперимента.
Сначала группировка, затем разделение
Чтобы исправить именно этот список, нужно учесть связи между копиями. Вторая и седьмая записи относятся к одной фотографии, пятая и восьмая — к другой. Такие группы нельзя разносить между обучением и итоговой проверкой. Можно удалить избыточные копии, сохранив сведения о происхождении данных, а затем заново спланировать разделение уникальных примеров. При этом оставшегося одного проверочного снимка явно недостаточно для широкого вывода о качестве. Устранение дублей решает конкретную ошибку, но не делает маленькую проверку автоматически надёжной или представительной.
Итоговый тест тоже можно незаметно превратить в подсказку
Если после каждого результата на одном и том же тесте менять настройки, этот набор постепенно участвует в выборе модели. Поэтому для подбора решений и окончательной оценки обычно различают валидационные и тестовые данные. Точный размер частей зависит от задачи и объёма данных; универсальная доля не устраняет проблемы сама по себе. Также важно, насколько примеры похожи на ситуации будущего применения. Даже аккуратно разделённый набор из студийных фотографий не подтверждает качество на любых тёмных или размытых снимках. Проверка имеет смысл только вместе с описанием того, что она действительно охватывает.
Попробуйте на практике
Проверьте разделение восьми вымышленных записей без обучения нейросети.
- Запишите номера от первого до восьмого. Соедините вторую запись с седьмой и пятую с восьмой, обозначив точные копии.
- Отметьте исходное обучение: записи с первой по пятую. Исходный тест: шестая, седьмая и восьмая.
- Найдите проверочные записи, чьи копии уже есть в обучении. Назовите единственный оставшийся новый снимок.
- Предложите разделение после удаления дублей и отдельно запишите, почему малого числа уникальных примеров недостаточно для общего вывода о качестве.
Как проверить результат. Проблемными оказываются седьмая и восьмая записи; новым относительно исходного обучения является шестой снимок. После исправления копии не распределены между этапами. Никакая точность модели не приписана бумажному разбору.
Частые вопросы
Другое имя файла делает фотографию новым примером?
Нет. Переименование не меняет содержимое изображения. При проверке данных важны сами примеры, а не только пути к файлам.
Можно ли считать отсутствие дублей полной гарантией честного теста?
Нет. Нужно также учитывать настройку по результатам проверки, происхождение данных и соответствие будущим условиям применения. Дубли — лишь одна возможная проблема.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.