Сначала определите, что считается новым случаем
Представим набор фотографий кружек и тарелок. Каждый предмет сняли двадцать раз на одном столе. При случайном перемешивании снимки одной кружки окажутся и в обучении, и в проверке. Модель может узнавать фон, царапину или освещение вместо признаков категории. Для задачи распознавания новых предметов разумнее разделять набор по самим предметам: все снимки одной кружки должны попадать в одну часть. Единица разделения зависит от будущего применения. Для записей пациентов это может быть человек, для последовательности измерений оборудования важен порядок времени. Универсальная доля проверочных строк не исправляет неверно выбранную границу. Сначала опишите, на каких незнакомых случаях система будет работать, затем подберите способ разделения.
Подготовка данных тоже может раскрыть ответы
Утечка возникает не только при случайном добавлении столбца с ответом. Если средние значения для заполнения пропусков рассчитаны по всему набору, проверочная часть уже повлияла на обучение. Аналогичная проблема возможна при настройке масштабирования и выборе признаков до разделения данных. Практический порядок такой: сначала выделить части, затем обучать преобразования только на учебной части. К проверочным примерам применяют уже полученные правила. Конвейер обработки помогает сохранить этот порядок, но сам по себе не замечает неверные признаки. Например, отметка о возврате товара не подходит для прогноза возврата в момент покупки, когда этой информации ещё нет.
Разметка и проверка требуют отдельных правил
Модель усваивает закономерности предоставленных ответов, включая ошибки и неоднозначность разметки. Для категории повреждённая упаковка нужно заранее решить, считается ли повреждением маленькая вмятина. Полезно дать нескольким разметчикам одни и те же спорные примеры, сравнить решения и уточнить инструкцию. Несогласие часто показывает нечёткое определение задачи. Данные для подбора параметров и окончательной оценки выполняют разные роли. Если много раз выбирать решения по итоговому тесту, он превращается в средство настройки. Для сравнения вариантов используют отдельную проверку, а финальный тест сохраняют до завершения выбора. Кроме общей точности рассматривают типы ошибок: пропустить дефект и ошибочно забраковать целую упаковку могут быть разными по последствиям.
Попробуйте на практике
Спроектируйте проверку учебного классификатора посуды на бумаге, не обучая модель.
- Опишите двадцать физических предметов, у каждого из которых есть серия снимков. Задайте две понятные категории и правило для пограничного случая.
- Распределите целые предметы между обучением, подбором параметров и окончательной проверкой. Убедитесь, что снимки одного предмета не разошлись по частям.
- Составьте список доступных признаков. Вычеркните сведения, которые появятся только после предполагаемого момента предсказания.
- Запишите, на каких данных будут рассчитываться параметры обработки и какие два вида ошибок вы изучите отдельно.
Как проверить результат. План проходит проверку, если новые предметы действительно отделены, преобразования не обучаются на тесте, а критерии разметки понятны другому человеку. Большое число фотографий одного предмета не заменяет разнообразия предметов.
Частые вопросы
Всегда ли случайное разделение является ошибкой?
Нет. Оно подходит для некоторых наборов независимых примеров. Проблема возникает, когда связанные записи распределяются по частям вопреки условиям будущей работы.
Низкая тестовая оценка означает бесполезную работу?
Не обязательно. Она может обнаружить утечку, слабую разметку или слишком узкие данные. Честно выявленное ограничение полезнее завышенной оценки, на которую невозможно опереться.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.