Преобразование тоже может обучаться
Некоторые операции используют параметры, вычисленные по данным: среднее, масштаб, значения для заполнения пропусков или выбранные признаки. Эти параметры становятся частью способа обработки новых объектов. Поэтому подготовка не всегда является нейтральным действием, которое можно выполнить заранее на всей таблице. Если тестовая часть повлияла на параметры, она уже участвовала в построении решения. Для обычной независимой проверки её нужно сохранить для оценки. Это относится и к простым моделям, и к сложным нейросетям: размер модели не отменяет вопроса о происхождении информации.
Один тестовый объект меняет всю учебную таблицу
Пусть обучающая часть содержит числа один, два и три, а тестовая — сто. Для центрирования достаточно вычесть среднее обучающей части, равное двум. Тогда обучающие значения станут минус один, ноль и один, а тестовое после того же преобразования — девяносто восемь. Если сначала вычислить среднее всех четырёх чисел, получится двадцать шесть с половиной. Теперь даже подготовка трёх обучающих значений зависит от тестового объекта. Пример показывает движение информации, но не доказывает конкретное изменение качества любой модели. Центрирование здесь рассматривается отдельно от масштабирования.
Одинаково применять не означает заново вычислять
Обучающая и тестовая части должны проходить согласованную обработку. Но параметры для независимого теста берутся из обучающей части, а не вычисляются заново на тесте. Иначе один и тот же исходный признак будет представлен по разным правилам. При перекрёстной проверке обучаемые этапы подготовки также выполняют внутри соответствующих обучающих частей. Конвейер обработки помогает связать эти шаги, но не исправляет ошибочную постановку задачи сам по себе. Дополнительно важно учитывать время наблюдений и связанные объекты, если обычное случайное разделение не соответствует будущему применению.
Попробуйте на практике
Выполните центрирование на бумаге. Используйте обучающие числа один, два, три и отдельное тестовое число сто; модель обучать не требуется.
- Подпишите принадлежность каждого числа до любых вычислений. Посчитайте среднее только трёх обучающих значений.
- Вычтите полученное среднее из обучающих чисел. Затем примените ровно то же вычитание к тестовому объекту, не пересчитывая параметр.
- Для сравнения ошибочного порядка найдите среднее всех четырёх чисел. Покажите, как тестовое значение повлияло на общий параметр.
- Нарисуйте две стрелки: обучающие данные определяют параметр, параметр применяется к тестовым данным. Уберите обратную стрелку от теста к обучению.
- Запишите правило для следующего набора: сначала определить независимую проверочную часть, затем изучать параметры подготовки на обучении и сохранять их для применения.
Как проверить результат. Среднее обучения равно двум, преобразованные значения — минус один, ноль, один и девяносто восемь для теста. Среднее всех чисел равно двадцати шести с половиной и помечено как нарушение границы в этой задаче.
Частые вопросы
Если преобразование не использует правильные ответы, утечки быть не может?
Может. Некоторые параметры вычисляются только по признакам, но всё равно получают информацию из тестовой части. Поэтому проверяют не только доступ к ответам, но и все этапы построения преобразования.
Можно ли много раз выбирать настройки по одному и тому же тесту?
Тогда тест начинает участвовать в выборе решения и теряет роль независимой финальной проверки. Для подбора используют отдельную валидацию или подходящую процедуру перекрёстной проверки, сохраняя границы данных.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.