Определите объект и момент прогноза
Пусть одна строка соответствует одной выдаче. В таблице есть категория оборудования, день недели, плановая длительность и фактическая длительность. Сначала уточните задачу: прогноз делается в момент оформления выдачи. Фактическая длительность тогда ещё неизвестна и является целевым значением, которое модель должна предсказывать позднее. Поле «дата возврата» тоже нельзя использовать как обычный входной признак: оно появляется после события, которое мы пытаемся предсказать. Это пример утечки информации из будущего. Алгоритм может показать отличную оценку на такой таблице, но при настоящем оформлении выдачи нужного ему значения не будет. Для каждого столбца задайте вопрос: известен ли он в выбранный момент и откуда берётся?
Проверьте типы, пропуски и повторения
В pandas таблица обычно представлена объектом DataFrame. Полезно сначала посмотреть названия столбцов, типы значений и несколько строк, а затем проверить пропуски методами isna или notna. Пропуск не равен нулю. Если длительность неизвестна, подстановка нуля создаёт вымышленное наблюдение о мгновенном возврате. Решение о пропусках зависит от смысла поля и задачи анализа. Проверьте также единицы: часы и дни нельзя смешивать в одном числовом столбце без преобразования. Повторяющиеся строки требуют объяснения. Это могут быть настоящие повторные выдачи, дубли выгрузки или несколько записей об одном событии. Автоматическое удаление всех похожих строк способно убрать реальные наблюдения. Для учебного проекта удобно составить небольшой словарь данных: значение столбца, единица, допустимые значения и причина возможного отсутствия.
Отделите обучение от честной проверки
Для прогноза будущих выдач проверочный период должен соответствовать будущему относительно обучающего. Случайное перемешивание временных данных не всегда воспроизводит этот сценарий. Если много записей связано с одним и тем же объектом или человеком, нужно учитывать и такую зависимость при разделении. Схема проверки определяется задачей применения, а не удобством одной функции. Преобразования, которые вычисляют параметры по данным, обучают только на обучающей части. Например, значение для заполнения пропусков нельзя рассчитывать по всей таблице до разделения. Pipeline помогает связать подготовку признаков и модель в один процесс, но правильность всё равно зависит от выбранных шагов. Сравните модель с простым ориентиром, например постоянным прогнозом на основе обучающих данных, и изучите отдельные ошибки. Зафиксируйте версии библиотек и способ разделения, чтобы позднее воспроизвести эксперимент.
Попробуйте на практике
Проверьте бумажную схему данных для прогноза длительности выдачи, не используя реальные сведения клиентов.
- Нарисуйте пять вымышленных строк и столбцы: категория, дата выдачи, плановая длительность, фактическая длительность и дата возврата.
- Отметьте, какие значения известны в момент оформления, а какие появляются позже.
- Добавьте один пропуск и одну подозрительно повторяющуюся запись; запишите вопросы к их происхождению.
- Разделите строки по времени на условное обучение и проверку и укажите, какие решения нельзя принимать по проверочной части.
Как проверить результат. Дата возврата не используется для предварительного прогноза. Пропуск не подменён нулём без основания. Проверочная часть не участвует в расчёте параметров подготовки, а повторение сначала исследуется по смыслу.
Частые вопросы
Высокая точность означает, что проект готов?
Нет. Нужно проверить отсутствие утечки, соответствие проверки будущему применению и характер ошибок. Хорошая оценка на неверно подготовленной таблице может вводить в заблуждение.
Нужно ли сразу брать сложную модель?
Простой ориентир помогает понять, даёт ли усложнение полезное улучшение. Без него трудно оценить смысл полученной метрики.
Можно ли удалить все строки с пропусками?
Иногда это допустимо, но может существенно изменить выборку. Сначала выясняют причины пропусков и последствия удаления для задачи.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.