Опишите работу через вход и ожидаемый результат
Представим помощника, который выделяет из сообщения тему обращения и желаемую дату. Сначала нужно решить, что делать, если дата отсутствует, указана приблизительно или встречаются две разные даты. Просьба внимательно проанализировать текст не снимает этих вопросов. Полезнее явно определить допустимые поля, значение отсутствующих сведений и правило обработки противоречий. Пример должен показывать именно нужное поведение, а не только красивый стиль. Если в каждом примере есть дата, модель получает мало ориентиров для случая без неё. Разнообразие учебных примеров помогает выразить границы задачи.
Формат и правильность проверяются отдельно
Структурированный ответ удобен для программы: можно ожидать определённые поля и типы данных. Поддерживаемые некоторыми системами режимы структурированного вывода помогают соблюдать заданную схему. Однако корректная структура не доказывает, что извлечённая дата действительно присутствовала во входе. Поэтому приложение должно проверять и форму, и содержательные условия. Например, значение из ограниченного списка можно проверить автоматически, а соответствие смыслу потребует отдельно подготовленных случаев и критериев. Нельзя считать задачу решённой только потому, что ответ удалось прочитать как JSON без ошибки.
Сравнивайте изменения на одном наборе случаев
Подготовьте примеры с известными ожидаемыми результатами до редактирования промпта. Включите обычный запрос, пропущенные сведения, неоднозначность и текст, который вообще не относится к задаче. Отдельно учитывайте, что содержание пользовательского документа является данными для обработки и не должно само менять правила приложения. При изменении формулировки проверяйте весь набор, а не только случай, который раньше не удавался. Иногда улучшение одного примера сопровождается ухудшением другого. Сохраняйте версию инструкции, условия запуска и результат проверки, чтобы сравнение опиралось на наблюдения. Для действий с последствиями нужны дополнительные программные ограничения и подходящий контроль.
Попробуйте на практике
Спроектируйте небольшой проверочный набор для извлечения темы и даты из вымышленных сообщений. Реальные личные данные и подключение внешних действий не требуются.
- Опишите два поля результата и допустимое поведение при отсутствии или противоречии данных. Составьте несколько собственных коротких входных сообщений.
- Для каждого сообщения заранее запишите ожидаемый ответ и объяснение, по какому правилу он получается. Добавьте хотя бы один случай без даты.
- Подготовьте первую инструкцию и сравните ответы с ожиданиями. Отдельно отметьте нарушение формата и ошибку по смыслу, не объединяя их в одну оценку.
- Измените одну часть инструкции и повторите проверку на тех же случаях. Зафиксируйте, что улучшилось, что ухудшилось и какие новые случаи стоит добавить.
Как проверить результат. У каждого вывода о качестве есть конкретный пример и критерий. Удачная формулировка не считается универсальной гарантией, а отсутствие сведений не превращается в разрешение их выдумать.
Частые вопросы
Чем длиннее промпт, тем надёжнее результат?
Не обязательно. Дополнительный текст полезен, когда уточняет задачу и устраняет неоднозначность. Повторы и противоречащие требования могут усложнить выполнение и проверку.
Достаточно один раз проверить ответ на каждом примере?
Для предварительного знакомства это полезно, но поведение модели может различаться между запусками. Глубина проверки должна соответствовать последствиям ошибки, разнообразию входов и условиям использования приложения.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.