Метод наименьших квадратов

Простое объяснение (Суть метода)

Представьте, что у вас есть набор точек на графике, разбросанных как попало. Вы хотите провести через них одну прямую линию, которая будет наилучшим образом описывать общую тенденцию.

Метод наименьших квадратов — это математический способ найти именно ту прямую (или кривую), которая минимизирует сумму квадратов расстояний от всех этих точек до проводимой линии.

Эти “расстояния” называются ошибками или невязками.

Более формальное определение

Метод наименьших квадратов — это стандартный метод регрессионного анализа для приближения (аппроксимации) экспериментальных данных. Он используется для оценки параметров модели (например, параметров прямой $y = a x + b$ ) таким образом, чтобы сумма квадратов отклонений (ошибок) между предсказанными моделью значениями и реальными наблюдаемыми значениями была минимальной.

Как это работает? (На примере прямой линии)

Допустим, у нас есть набор точек: $(x_{1}, y_{1}), (x_{2}, y_{2}), ..., (x_{n}, y_{n})$ . Мы хотим провести линию $y = a x + b$ , которая наилучшим образом им соответствует.

Определяем ошибку (невязку): Для каждой точки $i$ мы можем вычислить разницу между реальным значением $y_{i}$ и тем значением, которое предсказывает наша линия $(a x_{i} + b)$ .

$Ошибк а_{i} = y_{i} - (a x_{i} + b)$
Возводим ошибки в квадрат: Мы делаем это по двум причинам:
- Чтобы избавиться от отрицательных знаков (иначе положительные и отрицательные ошибки могли бы компенсировать друг друга).
- Чтобы большие ошибки “штрафовались” сильнее.
$Квадрат ошибк и_{i} = (y_{i} - a x_{i} - b)^{2}$
Суммируем все квадраты ошибок: Мы получаем функцию, которую нужно минимизировать — сумму квадратов ошибок (SSE).

$SSE = Σ (y_{i} - a x_{i} - b)^{2}$ (сумма по всем точкам i от 1 до n)
Находим минимум: Нам нужно найти такие значения параметров $a$ (угловой коэффициент) и $b$ (сдвиг по вертикали), при которых эта сумма $SSE$ будет минимальной.

С помощью математического аппарата (частных производных) находятся формулы для этих оптимальных $a$ и $b$ .

Зачем нужны именно квадраты?

Математическая удобство: Производная от квадратичной функции берется легко, что позволяет найти аналитическое решение.
“Штраф” за большие выбросы: Квадрат сильно увеличивает вес больших ошибок. Это значит, что метод будет стараться провести линию так, чтобы избежать очень больших отклонений, даже если придется немного “пожертвовать” малыми.
Устойчивость: Метод дает единственное и наилучшее в статистическом смысле решение для линейных моделей.

Области применения

МНК невероятно широко используется в науке и бизнесе:

Экономика и финансы: Прогнозирование продаж, анализ трендов на бирже, оценка зависимости спроса от цены.
Техника: Калибровка измерительных приборов, обработка результатов экспериментов.
Машинное обучение: Линейная регрессия — это один из базовых алгоритмов, в основе которого лежит МНК.
Статистика и Data Science: Построение регрессионных моделей для выявления взаимосвязей между переменными.
Астрономия: Расчет орбит небесных тел по неточным наблюдениям (исторически первый пример использования МНК Гауссом).

Пример (Прямая линия)

Допустим, у нас есть три точки: (1, 1), (2, 2), (3, 2). Мы хотим найти линию $y = a x + b$ .

x	y	Линия: y = ax + b	Ошибка (e)	e²
1	1	a*1 + b	1 - (a + b)	(1 - a - b)²
2	2	a*2 + b	2 - (2a + b)	(2 - 2a - b)²
3	2	a*3 + b	2 - (3a + b)	(2 - 3a - b)²

SSE = (1 - a - b)² + (2 - 2a - b)² + (2 - 3a - b)²

Решив систему уравнений (приравняв частные производные к нулю), мы найдем оптимальные $a$ и $b$ . В данном случае они будут равны $a = 0.5$ и $b = 1$ .

Таким образом, наилучшая прямая — это $y = 0.5 x + 1$ .

Важные нюансы

Не только для прямой: МНК можно использовать для подбора не только прямой, но и параболы ( $y = a x^{2} + b x + c$ ), экспоненты, полинома любой степени и других функций.
Не “идеальное” совпадение: Линия МНК не обязательно должна проходить через все точки. Её цель — показать общий тренд.
Чувствительность к выбросам: Поскольку большие ошибки сильно штрафуются, один сильный выброс может значительно повлиять на положение линии.

Краткий итог

Метод наименьших квадратов — это математический алгоритм для нахождения линии (или кривой) наилучшего соответствия для набора данных путем минимизации суммы квадратов вертикальных расстояний от точек до этой линии. Это краеугольный камень регрессионного анализа и прогнозного моделирования.

Data Science

Проводник