Опишите задачу среды отдельно от запуска
Представим вымышленный лабиринт, где агент должен добраться до выхода. Выход является конечным состоянием задачи. Но исследователь может дополнительно ограничить запуск сотней шагов, чтобы эксперимент не длился бесконечно. Если агент остановлен на обычной клетке из-за этого лимита, сама задача могла бы продолжиться. В современных интерфейсах Gymnasium это различие выражается отдельными признаками terminated и truncated. Старые примеры с единственным done требуют внимательного чтения версии и правил среды, а не механической замены названий.
Различайте сброс среды и расчёт целевого значения
Для продолжения взаимодействия после окончания эпизода обычно нужен reset, независимо от причины остановки. Однако при обучении ценностной функции причина важна. При настоящем конечном состоянии будущая награда после него не добавляется. При внешнем обрыве задачи продолжение может существовать, поэтому оценка следующего состояния может участвовать в целевом значении. Если всегда обнулять её при любом окончании, модель получит искажённый сигнал. При этом конечный горизонт, являющийся частью самой задачи, отличается от внешнего лимита запуска: нужно понимать устройство среды.
Проверьте смысл на маленьких числах
Пусть немедленная награда равна двум, оценка будущей ценности следующего состояния — пяти, а коэффициент дисконтирования — 0,9. Для обычного перехода с продолжением учебное целевое значение равно 2 плюс 0,9, умноженное на 5, то есть 6,5. Если переход действительно завершает задачу, остаётся только награда 2. Эти числа иллюстрируют принцип одношагового обновления, а не определяют универсальный алгоритм. Внешнее прекращение записи не должно автоматически превращать значение 6,5 в 2, если будущая часть задачи по смыслу остаётся.
Храните причину окончания вместе с переходом
В журнале или буфере опыта полезно сохранять наблюдение, действие, награду, следующее наблюдение и оба признака окончания. Затем проверьте, какое именно условие используется для сброса, а какое — для маски в расчёте обучения. Эти условия могут различаться. Использование TensorFlow или другой библиотеки нейросетей не исправит ошибочную логику данных: модель будет оптимизировать заданную цель. Для воспроизводимости фиксируют версии окружения, параметры задачи и способ обработки окончаний. Вначале проще проверить несколько ручных переходов, чем объяснять странное поведение большого обученного агента.
Попробуйте на практике
Разберите три перехода вымышленной среды без запуска обучения.
- Создайте случаи: обычный шаг, достижение выхода и остановка по внешнему лимиту на обычной клетке.
- Для каждого запишите, нужен ли сброс среды перед следующим эпизодом и существует ли продолжение задачи по смыслу.
- Используйте награду 2, оценку следующего состояния 5 и коэффициент 0,9 для расчёта учебной цели.
- Сравните условие сброса с условием исключения будущей ценности и объясните различие словами.
Как проверить результат. Остановка взаимодействия не смешана с истинным конечным состоянием. Для каждого перехода понятно, почему будущая оценка учитывается или исключается.
Частые вопросы
Можно ли объединить terminated и truncated в один флаг?
Для решения о начале нового эпизода объединение часто уместно. Для расчёта целевого значения такая потеря информации может привести к ошибке.
Если задача сама ограничена временем, это всегда внешнее усечение?
Нет. Если конечный горизонт входит в определение задачи, его достижение может быть настоящим завершением. Нужно учитывать модель среды и представление оставшегося времени.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.