Согласуйте строки, столбцы и коэффициенты
Пусть есть три наблюдения со значениями признака один, два и три. Добавим столбец единиц для свободного члена. Тогда матрица имеет три строки и два столбца: её строки состоят из пар один и один, один и два, один и три. Вектор коэффициентов должен содержать два числа. Умножение матрицы на этот вектор даёт три предсказания, по одному на наблюдение. Проверка размеров сразу показывает, какие объекты можно перемножать и что означает результат.
Прочитайте умножение как сумму вкладов
Возьмём коэффициенты два для столбца единиц и три для исходного признака. Для первого наблюдения получаем два плюс три, то есть пять. Для второго два плюс шесть, то есть восемь. Для третьего два плюс девять, то есть одиннадцать. Ту же операцию можно увидеть как сложение столбца единиц, умноженного на два, и столбца признака, умноженного на три. Построчное вычисление и комбинация столбцов являются двумя взглядами на одно действие.
Найдите зависимый признак
Добавим третий столбец со значениями два, четыре и шесть. Он в точности равен второму столбцу, умноженному на два. Теперь набор коэффициентов два, три, ноль даёт прежние предсказания. Но набор два, один, один тоже даёт пять, восемь и одиннадцать: вклад признака плюс вклад его удвоенной копии совпадает с прежним тройным вкладом. Значит, разные коэффициенты могут описывать одинаковое предсказание. Дополнительный столбец здесь не создаёт нового независимого направления, хотя таблица стала шире.
Отделите вычисление от подбора модели
В нашем примере коэффициенты заданы заранее. Если известные ответы не лежат точно на такой прямой, появляются остатки: различия между наблюдаемыми и предсказанными значениями. Метод наименьших квадратов подбирает коэффициенты, уменьшая сумму квадратов этих различий. Но простая проверка одной выбранной пары коэффициентов ещё не доказывает, что она оптимальна. Линейная зависимость также требует внимания при оценке коэффициентов. Прежде чем интерпретировать их как важность признаков, проверяют устройство данных, ограничения модели и способ её подбора.
Попробуйте на практике
Проверьте линейное предсказание и зависимость столбцов на трёх вымышленных наблюдениях без программного обеспечения.
- Запишите столбец единиц и столбец со значениями один, два, три. Укажите размер матрицы и необходимое число коэффициентов.
- Используйте коэффициенты два и три. Вычислите каждое предсказание отдельно и получите пять, восемь, одиннадцать.
- Добавьте столбец два, четыре, шесть. Проверьте два набора коэффициентов: два, три, ноль и два, один, один.
- Объясните одинаковый результат через зависимость столбцов. Отдельно укажите, почему разные коэффициенты здесь не означают разные предсказания.
- Пусть наблюдаемые ответы равны пяти, восьми и двенадцати. Для прежнего предсказания найдите остатки как наблюдение минус предсказание и сумму их квадратов, не объявляя коэффициенты оптимальными.
Как проверить результат. Размер исходной матрицы равен трём на два, оба расширенных набора дают одинаковые предсказания, остатки равны нулю, нулю и единице, а сумма квадратов равна единице.
Частые вопросы
Зависимый столбец всегда выглядит как точная копия?
Нет. Он может быть кратным другому столбцу или выражаться комбинацией нескольких. В примере удвоение сделано специально, чтобы зависимость была легко заметна.
Хорошее совпадение с тремя ответами доказывает качество модели?
Нет. Оно описывает только выбранные данные. Для практической задачи нужны проверка на других наблюдениях, понимание ошибок и обоснование того, почему линейная модель подходит.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.