Сначала зафиксируйте момент прогноза
Представим задачу предсказать, вернут ли библиотечную книгу вовремя. Решение принимается в день выдачи. В этот момент известны срок возврата и сведения, которые уже существуют законно и относятся к задаче. Но фактическая дата возврата появится позже. Если добавить её в признаки, модель фактически получит часть ответа. Формально столбец находится в таблице и выглядит удобным, однако реальная система не сможет использовать его заранее. Поэтому вопрос когда стало известно значение не менее важен, чем название столбца.
Проверочные примеры не должны обучать модель
Разделение на обучающие и проверочные данные нужно, чтобы оценивать работу на примерах, которые не использовались для подбора закономерностей. Если одинаковые записи или тесно связанные наблюдения попали в обе части, оценка может стать слишком оптимистичной. В задачах со временем также важно не использовать будущее для проверки прошлого. Способ разделения выбирают по устройству данных, а не только по привычному проценту. Иногда требуется группировка по объектам, иногда последовательное разделение по датам. Универсальная случайная разбивка подходит не для каждой ситуации.
Подготовка данных тоже способна передать сведения
Утечка возникает не только через очевидный столбец с ответом. Выбор признаков, заполнение пропусков и настройка преобразований могут использовать сведения из проверочной части, если выполняются до разделения. Общий принцип состоит в том, чтобы обучаемые преобразования определялись на тренировочной части, а к отложенной применялись без подгонки. Повторный выбор модели по одному и тому же финальному тесту также постепенно делает тест частью процесса настройки. Нужны заранее определённые этапы и честное описание того, какие данные влияли на решение.
Высокая метрика требует проверки смысла
Даже без утечки хороший процент не объясняет, какие ошибки важны в практической задаче. Если редкое событие почти всегда пропускается, средняя точность может выглядеть высокой. Полезно сравнить модель с простым исходным правилом и посмотреть на разные виды ошибок. Нельзя обещать качество будущих решений только по одному числу. В рабочем отчёте указывают задачу, ограничения выборки, схему разделения и момент доступности признаков. Это помогает другому человеку понять, что именно было проверено и что пока остаётся неизвестным.
Попробуйте на практике
Найдите потенциальную утечку в вымышленной задаче о возврате книг.
- Запишите момент прогноза: день выдачи книги. Определите целевой результат: возврат до установленного срока.
- Составьте список полей: дата выдачи, срок возврата, фактическая дата возврата и отметка о просрочке. Для каждого укажите, когда оно становится известно.
- Отделите признаки, доступные в момент решения, от будущего ответа. Объясните, почему техническое наличие столбца не делает его допустимым входом.
- Предложите временное разделение для проверки и назовите одну возможную проблему повторяющихся записей. Сформулируйте, какие сведения потребуются для окончательного выбора схемы.
Как проверить результат. Будущая информация не используется как исходный признак, а схема проверки учитывает время и связи между наблюдениями. Высокая метрика не принята за достаточное доказательство качества.
Частые вопросы
Утечка обязательно возникает намеренно?
Нет. Часто это ошибка постановки задачи или порядка подготовки таблицы. Поэтому проверяют процесс целиком, даже если никто не пытался улучшить цифры искусственно.
Поможет ли более сложный алгоритм?
Он не исправляет некорректную оценку автоматически. Сначала устраняют утечку и проверяют постановку, затем сравнивают подходящие методы.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.