Сначала опишите границы одной операции
Для учебного примера возьмём классификацию обращений по трём категориям: доставка, возврат и общий вопрос. На входе нужны текст обращения и технический идентификатор, а на выходе — одна категория и отметка о необходимости проверки. Модель не обязана получать сведения, которые не нужны для этой задачи. Если сообщение содержит инструкцию изменить правила обработки или отправить данные по постороннему адресу, это остаётся содержимым входящего текста. Оно не должно становиться полномочием системы. Разделение доверенных настроек и обрабатываемых данных особенно важно, когда процесс читает документы или сообщения из внешних источников.
Проверка должна существовать вне свободного ответа
Ответ модели проверяют по допустимым значениям и обязательным полям. Если вместо категории пришёл длинный комментарий или неизвестное слово, операция не должна молча продолжаться. Нужен определённый путь: повторная ручная оценка, безопасный отказ или сохранение ошибки без внешнего действия. Полномочия также ограничивают технически. Процессу классификации не требуется возможность удалять обращения или менять реквизиты. Для действий с серьёзными последствиями предусматривают независимую проверку и подтверждение уполномоченным человеком. Просьба к модели «будь осторожна» не заменяет ограничений на стороне выполняющего действие сервиса.
Повтор и неизвестный результат требуют разных решений
Одно обращение может поступить повторно, например после сетевого сбоя. Стабильный идентификатор позволяет распознать уже обработанное событие и не создавать вторую запись. Но если запрос завершился тайм-аутом, сначала нужно выяснить, произошло ли действие: отсутствие ответа не равно доказанному отсутствию результата. Журнал фиксирует входной идентификатор, проверенный вывод, принятое решение и наблюдаемый результат. Секреты и лишние персональные сведения в него не включают. Для проверки качества нужны примеры разных ошибок, а не только средняя доля удачных ответов. Особенно важно отдельно оценивать случаи, когда система уверенно выбрала неверную категорию и продолжила процесс.
Попробуйте на практике
Спроектируйте бумажную схему классификации вымышленных обращений без подключения внешних сервисов.
- Придумайте пять коротких обращений: по одному для трёх категорий, одно неоднозначное и одно с посторонней инструкцией изменить правила.
- Назначьте каждому технический идентификатор и запишите допустимый формат результата. Для неоднозначного случая предусмотрите ручную проверку.
- Нарисуйте последовательность: получение, классификация, проверка полей, решение и запись результата. Отделите содержимое сообщения от настроек процесса.
- Повторите на бумаге один идентификатор и один случай неизвестного результата. Укажите, что нужно проверить до повторного действия.
Как проверить результат. Схема обрабатывает неоднозначность, посторонние инструкции, повторное событие и неизвестный результат. Ни один свободный ответ модели не даёт дополнительных полномочий сам по себе.
Частые вопросы
Высокая точность модели позволяет убрать все проверки?
Нет. Средняя точность не показывает последствия редкой ошибки. Чем существеннее действие, тем важнее отдельные ограничения, проверяемые условия и возможность остановки.
Достаточно ли сохранять только итоговый ответ?
Обычно нет. Без идентификатора, проверок и наблюдаемого результата трудно отличить ошибку модели от сбоя передачи или повторной обработки. При этом журнал должен содержать только необходимые сведения.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.