У разных частей данных разные роли
Обучающая выборка используется для обновления весов. Проверочная выборка помогает оценивать ход работы и выбирать настройки. Тестовую часть сохраняют для итоговой оценки после принятия этих решений. Если постоянно выбирать архитектуру по тестовому результату, тест перестаёт быть независимой итоговой проверкой. Его информация уже участвует в разработке, даже если по этим примерам напрямую не считали обновления весов. В учебном примере можно классифицировать собственные синтетические изображения двух простых фигур. При разделении важно не допустить, чтобы копии одного исходного изображения оказались по обе стороны границы. Запишите правило разделения до запуска. Это делает сравнение экспериментов понятнее: улучшение не должно объясняться случайной сменой состава данных. Подготовка признаков также не должна использовать сведения из отложенной тестовой части.
Смотрите на выбранную метрику и её направление
Рассмотрим вымышленные значения проверочной ошибки после четырёх эпох: шесть десятых, сорок две сотых, сорок четыре сотых и сорок семь сотых. Здесь меньше означает лучше, поэтому наименьшее значение достигнуто после второй эпохи. Допустим, обучающая ошибка всё это время уменьшается. Расхождение показывает, почему продолжение обучения не следует автоматически считать улучшением модели. Полезно проверить переобучение и условия эксперимента. Одно колебание метрики не всегда требует немедленной остановки. Можно заранее задать, сколько эпох без улучшения допускается и какое изменение считается достаточным. Эти условия должны соответствовать выбранной метрике. Если отслеживается точность, обычно интересует рост, а если функция ошибки, снижение. Перепутанное направление способно сделать автоматическое правило бессмысленным. Поэтому название показателя и смысл лучшего значения стоит записать явно.
Остановка и возврат лучших весов являются разными решениями
Предположим, для нашей последовательности разрешены две эпохи подряд без улучшения. После второй эпохи следуют два ухудшения, и учебное правило останавливает работу после четвёртой. Но веса четвёртой эпохи и веса второй эпохи различаются. Если нужны веса с лучшим проверочным результатом, необходимо предусмотреть их сохранение или восстановление. Сам факт остановки ещё не означает автоматического возврата. В механизме ранней остановки библиотеки Keras восстановление лучших весов задаётся отдельным параметром и по умолчанию отключено. Поэтому перед реальным запуском нужно проверить настройки используемого инструмента, а не полагаться на название функции. В журнале эксперимента сохраните правило разделения данных, отслеживаемый показатель, условие остановки и выбранную эпоху. Затем оцените зафиксированную модель на тестовой части, не используя результат для скрытого перебора вариантов. Ранняя остановка не исправляет ошибочную разметку, утечку данных или неподходящую постановку задачи. Она решает более узкий вопрос о продолжительности конкретного обучения.
Попробуйте на практике
Разберите вымышленный журнал обучения без запуска нейросети.
- Запишите четыре значения проверочной ошибки: шесть десятых, сорок две сотых, сорок четыре сотых и сорок семь сотых. Укажите, что меньшее значение лучше.
- Выберите правило: остановиться после двух последовательных эпох без улучшения. Для этого примера учитывайте любое строгое снижение.
- Найдите лучшую эпоху и эпоху остановки. Отдельно решите, какие веса нужны для дальнейшей проверки.
- Запишите роли обучающей, проверочной и тестовой частей. Добавьте в план явное сохранение выбранных весов и итоговую оценку без повторного подбора по тесту.
Как проверить результат. Лучшая эпоха в примере вторая, остановка происходит после четвёртой. Вы различаете последние и лучшие веса, а тестовые данные не используются для выбора настройки.
Частые вопросы
Достаточно ли наблюдать только обучающую ошибку?
Нет. Она показывает работу на данных, участвующих в обучении, и не заменяет оценку на отложенных примерах. Для выбора продолжительности нужен подходящий проверочный показатель.
Ранняя остановка гарантирует хорошую модель?
Нет. Качество зависит также от данных, разметки, разделения и самой задачи. Правило остановки помогает контролировать один этап, но не подтверждает весь эксперимент.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.