Сначала определить, что проверяем
Допустим, помощник должен отвечать только по краткой ведомости бумажных материалов. В нашей вымышленной ведомости записано: синих листов двенадцать, зелёных семь, количество красных не указано. Задача помощника — извлечь сведения, выполнить простое сравнение и признать отсутствие данных. Мы не проверяем его знания о бумажной промышленности или способность придумать красивое описание мастерской. Чем яснее границы задания, тем проще отличить полезный ответ от дополнения, которое выглядит правдоподобно, но не следует из ведомости. Все исходные данные учебные; настоящие документы и сведения о людях здесь не нужны.
Ожидаемый ответ записать до запуска
Подготовим четыре вопроса. Сколько синих листов? Ожидается двенадцать. Сколько зелёных? Семь. На сколько синих больше, чем зелёных? На пять. Сколько красных? Правильный ответ сообщает, что количество не указано. Для последнего вопроса ноль не подходит: отсутствие записи не означает отсутствие предметов. Зафиксировав эти ответы заранее, мы уменьшаем соблазн принять удачно звучащую формулировку за правильную. Можно допускать разные слова, если смысл совпадает. Например, данных о количестве нет и число не указано выполняют одно требование нашей проверки.
Разные ошибки требуют разных исправлений
Если помощник верно нашёл двенадцать и семь, но получил неверную разницу, проблема в вычислении данного примера. Если он сообщил выдуманное количество красных листов, нарушена граница исходных сведений. Если ответил пространно и вовсе пропустил вопрос, задача тоже не выполнена. Эти исходы полезно записывать раздельно. Одна общая отметка скрывает различия: исправление арифметической проверки не обязательно устраняет добавление неподтверждённых фактов. Уверенный тон и подробное объяснение не отменяют ошибку. Проверять нужно соответствие ведомости и условиям вопроса, а не впечатление от уверенности ответа.
Повторная проверка не должна подсказывать решение
После изменения инструкции повторите исходные вопросы, чтобы увидеть, исправилась ли замеченная ошибка. Затем подготовьте другой вымышленный набор с новыми названиями и числами, сохранив тот же тип задач. Если проверять только знакомые формулировки, можно получить улучшение на них и не узнать, переносится ли оно на похожие случаи. Сохраняйте текст инструкции, входные сведения и полученные ответы: иначе сравнение двух вариантов станет неточным. Даже четыре правильных ответа показывают лишь результат этой небольшой проверки. Они не доказывают общую надёжность системы и не обосновывают её самостоятельное применение в ответственных ситуациях.
Попробуйте на практике
Составьте маленькую проверку помощника по вымышленной ведомости и оцените пример ответа.
- Запишите исходные сведения о двенадцати синих и семи зелёных листах. Для красных явно укажите, что количество неизвестно.
- Подготовьте четыре вопроса из примера и запишите ожидаемые ответы до обращения к помощнику.
- Разберите вымышленный результат: двенадцать, семь, пять, ноль. Для каждого ответа отметьте соответствие исходным данным и назовите тип ошибки.
- Создайте второй набор: фиолетовых листов пять, оранжевых девять, белых неизвестно. Составьте аналогичные вопросы и отдельный ключ для следующей проверки.
Как проверить результат. В первом результате верны три ответа из четырёх: ноль для красных необоснован. Во втором наборе оранжевых на четыре больше фиолетовых, а число белых остаётся неизвестным. Эти результаты относятся к учебным случаям и не превращаются в оценку точности модели на любых задачах.
Частые вопросы
Можно ли попросить ту же модель проверить саму себя?
Это может дать дополнительный материал для сравнения, но не заменяет независимый ключ. Повторный ответ тоже способен содержать ошибку или поддержать прежнее неверное утверждение.
Нужно ли считать ошибкой другую формулировку?
Нет, если смысл соответствует заранее заданному требованию. Для этой проверки важны число, правильность сравнения и признание отсутствующих данных, а не буквальное совпадение слов.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.