Данные проходят через последовательность преобразований
Изображение представляется числами. Слои сети преобразуют их, используя настраиваемые параметры, и в конце получается выход, связанный с выбранными категориями. Во время обучения для размеченных фотографий известен правильный ответ. Функция потерь выражает расхождение между желаемым и полученным результатом. Обратное распространение ошибки позволяет вычислять градиенты, на основании которых алгоритм обновляет параметры. Так сеть подстраивается по примерам. Это не означает, что она понимает назначение посуды так же, как человек.
Разделите обучение, выбор и итоговую проверку
Обучающая часть данных используется для настройки параметров. Проверочная, или валидационная, помогает сравнивать варианты и выбирать настройки. Отдельная тестовая часть нужна для итоговой оценки уже выбранного решения. Если многократно менять модель ради улучшения результата на тесте, он перестаёт быть независимой проверкой. Преобразования, параметры которых вычисляются по данным, тоже должны обучаться без использования тестовой информации. Само наличие трёх папок ещё не гарантирует, что границы между ними соблюдены.
Похожие фотографии могут оказаться подсказкой
Допустим, одну кружку сняли много раз на одном фоне. Если часть почти одинаковых снимков попала в обучение, а другая в тест, высокий результат может отражать узнавание знакомой сцены. Когда задача состоит в распознавании новых предметов, снимки одного предмета следует учитывать как связанную группу при разделении. Также проверьте фон: если все миски сняты на белом столе, а кружки на тёмном, модель может использовать этот признак. Ошибка обнаружится, когда условия съёмки изменятся.
Один процент скрывает разные ошибки
Представим тест из девяноста кружек и десяти мисок. Система, всегда отвечающая кружка, получит девяносто процентов правильных ответов, но не распознает ни одной миски. Поэтому изучайте результаты по каждой категории и смотрите примеры ошибок. Числа полезно сопоставлять с простой исходной моделью или понятным правилом. Увеличение количества слоёв не исправляет ошибочную разметку, утечку данных и неподходящий тест. Сначала проверьте постановку задачи, затем усложняйте решение, если для этого есть основание.
Попробуйте на практике
Спроектируйте честную проверку учебного классификатора на бумаге, не собирая изображения людей и не обучая модель.
- Опишите цель: различать новые кружки и миски на фотографиях. Запишите, какие условия съёмки должны встречаться в будущих примерах.
- Составьте условный список предметов и нескольких снимков каждого. Разделите данные по предметам, сохраняя связанные снимки вместе, и предусмотрите обе категории в каждой части.
- Укажите, какие сведения разрешены при обучении, какие используются для выбора настроек, а какие остаются для итогового теста.
- Посчитайте результат постоянного ответа кружка для набора из девяноста кружек и десяти мисок. Добавьте к общей точности отдельный показатель распознавания мисок.
Как проверить результат. Снимки одного предмета не пересекают части при задаче обобщения на новые предметы. Вы видите, почему девяносто процентов общей точности совместимы с нулём распознанных мисок.
Частые вопросы
Большая сеть всегда лучше маленькой?
Нет. Результат зависит от задачи, данных, настройки и проверки. Более сложная модель может запоминать особенности обучения и хуже работать в новых условиях.
Можно ли исправить ошибки после просмотра теста?
Можно продолжать разработку, но использованный тест уже повлияет на выбор решения. Для независимого итогового вывода понадобится новая корректно организованная проверка.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.