Производная измеряет локальное изменение
Если функция связывает параметр x и значение ошибки L(x), производная показывает, как небольшое увеличение x влияет на L. Положительная производная означает локальный рост функции, отрицательная — снижение при движении вправо. В точке минимума производная часто близка к нулю, хотя нулевая производная сама по себе не гарантирует минимум. Геометрически производную удобно представлять как наклон касательной к графику в выбранной точке.
Для многих параметров нужен градиент
Модель обычно имеет не один параметр, а множество. Тогда функция потерь зависит сразу от вектора параметров. Для каждого параметра вычисляют частную производную, фиксируя остальные. Набор этих производных образует градиент. Он указывает направление наиболее быстрого локального роста функции, поэтому для уменьшения ошибки параметры сдвигают в противоположную сторону. Это и есть центральная идея градиентного спуска.
Скорость обучения задаёт размер шага
Если шаг слишком маленький, оптимизация движется медленно и требует много итераций. Если слишком большой, параметры могут перескакивать через область минимума или вообще расходиться. Поэтому скорость обучения является важным гиперпараметром. В реальных алгоритмах она может меняться по ходу обучения, а разные оптимизаторы адаптируют шаг по истории градиентов. Но базовая логика остаётся прежней: направление задаёт производная, а скорость обучения определяет, насколько далеко мы двигаемся.
Минимум на обучающих данных — не единственная цель
Оптимизация снижает функцию потерь на выбранных данных, но очень низкая обучающая ошибка не гарантирует хорошую работу на новых примерах. Модель может переобучиться. Поэтому качество оценивают на отдельных данных и используют регуляризацию, раннюю остановку и другие методы. Математически градиентный спуск решает задачу оптимизации, а машинное обучение добавляет вопрос об обобщении. Эти две задачи связаны, но не совпадают.
Попробуйте на практике
Вручную выполнить несколько шагов градиентного спуска для простой функции.
- Возьмите функцию L(x)=(x-3)^2 и найдите её производную.
- Начните с x=0 и вычислите значение производной в этой точке.
- Выберите скорость обучения 0,1 и обновите x по правилу движения против градиента.
- Повторите ещё четыре шага и записывайте значение функции после каждого.
- Сравните траекторию с вариантом шага 1,0 и объясните различие.
Как проверить результат. Упражнение выполнено, если видно, как знак производной задаёт направление, а величина шага влияет на скорость и устойчивость приближения к минимуму.
Частые вопросы
Почему градиент ведёт вверх, а алгоритм идёт вниз?
Градиент указывает направление наиболее быстрого роста. Для минимизации параметр изменяют в противоположную сторону.
Что будет при слишком большом шаге?
Алгоритм может перескакивать минимум, колебаться или расходиться вместо уменьшения функции.
Нулевая производная всегда означает минимум?
Нет. Это может быть максимум или седловая точка. Нужно учитывать форму функции вокруг точки.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.