Опишите результат через проверяемые признаки
Вместо общего запроса обработать заметки укажите, что должно появиться на выходе: действие, исполнитель и срок. Отдельно объясните, как поступать, если сведений нет или они противоречат друг другу. Для учебной задачи можно требовать пометку «не указано», а спорные сроки выносить на уточнение. Возьмём выдуманную заметку: Лена подготовит макет к пятнице, время согласуем позже. Корректный результат сохраняет исполнителя и действие, отмечает пятницу и не добавляет конкретный час. Если дата недели не определена, модель не должна самовольно выбирать календарное число. Такое правило можно проверить независимо от стиля ответа.
Подготовьте разные контрольные случаи
Один удобный пример не показывает, как система поведёт себя в сложной ситуации. Добавьте заметку без исполнителя, сообщение с двумя поручениями, исправление ранее названного срока и фразу, где задача обсуждается, но ещё не назначена. Все примеры можно придумать самостоятельно, не используя рабочую переписку. Для каждого случая заранее запишите ожидаемый результат. Это особенно важно до просмотра ответа модели: иначе легко принять убедительную формулировку за правильную. Контрольный набор должен отражать реальные трудности задачи, а не состоять только из предложений, которые почти невозможно понять неверно.
Сравнивайте изменения на одном наборе
Сохраните исходный запрос и ответы. Затем измените одну часть инструкции, например правило обработки отсутствующего срока, и повторите проверку на тех же примерах. Отметьте, какие ошибки исчезли и не появились ли новые. Улучшение одного случая не означает улучшения всей задачи. Более подробная инструкция может помочь с пропусками, но заставить модель чрезмерно дробить обычные поручения. Поэтому смотрите на весь набор. При важных результатах полезны повторные прогоны: ответы генеративной системы могут различаться даже при похожих условиях.
Оставьте понятную границу автоматизации
Часть результатов можно принять после проверки, часть требует уточнения человеком. Например, противоречивые даты не следует превращать в уверенный срок только ради заполненной строки. Заранее определите, какие ошибки недопустимы и когда процесс должен остановиться на запросе недостающих сведений. Не передавайте в незнакомый сервис конфиденциальные документы ради первого опыта. Начните с выдуманных данных и изучите условия использования выбранного инструмента. После смены модели, настроек или формата входа вернитесь к контрольным примерам. Ранее удачный результат не гарантирует, что новая версия сохранит то же поведение.
Попробуйте на практике
Создайте пять выдуманных заметок для проверки извлечения поручений.
- Задайте три поля результата: действие, исполнитель и срок; добавьте правило для отсутствующих и противоречивых сведений.
- Напишите пять коротких заметок, включая обычный случай, пропуск исполнителя, отсутствие срока, два поручения и исправление даты.
- Для каждой заметки самостоятельно составьте ожидаемый результат, не добавляя сведений от себя.
- Если доступна нейросеть, сравните её ответы с эталоном и измените одну инструкцию; без неё проверьте, может ли другой человек однозначно выполнить ваши правила.
Как проверить результат. Каждое обнаруженное расхождение связано с конкретным правилом, а не только с впечатлением от ответа. Неизвестные данные остаются неизвестными, и улучшение запроса проверяется на всех пяти случаях.
Частые вопросы
Нужен ли длинный запрос для хорошего результата?
Не обязательно. Важнее ясность задачи, необходимые сведения и критерии проверки. Дополнительный текст полезен, только если устраняет конкретную неоднозначность.
Можно ли считать оценку самой модели окончательной?
Нет. Самопроверка может обнаружить часть ошибок, но её тоже нужно сопоставлять с заранее подготовленными ответами и независимой проверкой фактов.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.