Модель выбирает шаг, инструмент выполняет операцию
В заданной последовательности автоматизации шаги заранее определены разработчиком. В агентной схеме языковая модель может выбирать следующий шаг по задаче и полученным результатам. Например, сначала проверить номер обращения, затем найти подходящую инструкцию и подготовить ответ. Эти подходы можно сочетать: свободный выбор не требуется во всех частях процесса. Инструмент имеет определённое назначение и входные параметры. Поиск обращения и отправка сообщения клиенту являются разными операциями. Наличие первой не должно автоматически открывать вторую. Фраза агента о том, что письмо отправлено, также не заменяет результат инструмента: система должна отдельно подтверждать фактическое выполнение.
Узкая задача облегчает проверку
Для первого проекта полезен помощник, который готовит черновик ответа по учебным обращениям. Заранее определите допустимые категории, источник сведений и случаи, когда информации недостаточно. Например, если номер заказа отсутствует, помощник отмечает нехватку данных, а не придумывает его. Проверять стоит не только удачный пример. Добавьте обращения с двумя противоречащими друг другу датами, неизвестной услугой и просьбой сделать действие за пределами задачи. Ожидаемый результат для каждого случая опишите до запуска. Иначе легко принять убедительный текст за правильное решение. Оценка может быть очень конкретной: найдено ли нужное обращение, использованы ли подтверждённые сведения, сохранён ли статус черновика. Такая проверка информативнее общего впечатления, что агент хорошо разговаривает. Для учебного набора используйте вымышленные данные без настоящих адресов и платёжных сведений.
Разрешения задаются устройством системы
Доступ ограничивают средствами подключённых сервисов и самих инструментов. Просьба в инструкции быть осторожным полезна, но не заменяет технического ограничения. Если помощнику достаточно читать справочник, ему незачем выдавать возможность удалять записи. Секреты подключения также не должны попадать в текст запроса или ответа. Для действий с существенными последствиями можно предусмотреть проверку человеком. В такой схеме до исполнения показывают конкретное действие, получателя и параметры. Одобрение красивого общего описания недостаточно, если затем выполняется другая операция. Отказ должен останавливать соответствующее действие. Ещё одна граница проходит между данными и командами. Текст найденной страницы или клиентского обращения может содержать попытку изменить правила работы агента. Его нельзя автоматически считать разрешением на новые действия. Ограничение доступа, проверка параметров и испытания на таких примерах уменьшают риск, хотя универсальной защиты одним предложением не существует.
Попробуйте на практике
Спроектируйте на бумаге помощника, который только готовит черновики ответов по учебным заявкам.
- Опишите одну задачу помощника и перечислите сведения, которые ему действительно нужны.
- Разделите операции на чтение, подготовку черновика и внешние изменения; оставьте только необходимые.
- Придумайте три вымышленные заявки: обычную, неполную и содержащую постороннюю команду.
- Запишите ожидаемое поведение в каждом случае и способ проверить, что внешнее действие не произошло.
Как проверить результат. В схеме должны различаться текст модели, вызов инструмента и подтверждённый результат. Проверьте, что недостаток данных приводит к уточнению или остановке, а не к выдуманному выполнению.
Частые вопросы
Нужен ли агент для любой автоматизации?
Нет. Когда правила и последовательность полностью определены, обычный сценарий может оказаться проще для проверки. Агентный выбор полезен там, где действительно требуется разбирать различающиеся ситуации.
Можно ли считать один удачный запуск достаточной проверкой?
Нет. Он показывает работу только на одном входе. Нужны разные примеры, проверка отказов инструментов и наблюдение за фактическими действиями, особенно перед подключением реальных данных.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.