Регрессионный анализ

Регрессионный анализ — это статистический метод исследования взаимосвязи между переменными, при котором одна или несколько переменных используются для прогнозирования или объяснения изменений другой переменной.

Основные понятия и компоненты

Зависимая и независимые переменные

• Зависимая переменная (Y) — переменная, которую мы хотим предсказать или объяснить
• Независимые переменные (X) — переменные, используемые для прогнозирования зависимой переменной

Виды регрессионного анализа

1. Простая линейная регрессия

Моделирует линейную зависимость между одной независимой и одной зависимой переменной: $Y_i={\beta }_0+{\beta }_1{X}_i+{\epsilon }_i$

где:

• $Y_i$ — значение зависимой переменной для i-го наблюдения
• $X_i$ — значение независимой переменной для i-го наблюдения
• ${\beta }_0$ — свободный член (intercept)
• ${\beta }_1$ — коэффициент наклона (slope)
• ${\epsilon }_i$ — случайная ошибка

2. Множественная линейная регрессия

Моделирует зависимость между несколькими независимыми переменными и одной зависимой: $Y_i={\beta }_0+{\beta }_1{X}_{1i}+{\beta }_2{X}_{2i}+\cdots +{\beta }_k{X}_{ki}+{\epsilon }_i$

3. Нелинейная регрессия

Модели с нелинейными зависимостями:

• Полиномиальная: $Y={\beta }_0+{\beta }_{1}X+{\beta }_2{X}^2$
• Экспоненциальная: $Y=\alpha e^{\beta X}$
• Логарифмическая: $Y={\beta }_0+{\beta }_1\ln (X)$

Метод наименьших квадратов (МНК)

Основной метод оценки параметров регрессионной модели. Цель — минимизировать сумму квадратов остатков:

$\min {\sum }_{i=1}^n(Y_i-{\hat{Y}}_i{)}^2=\min {\sum }_{i=1}^n{\epsilon }_i^2$

где ${\hat{Y}}_i$ — предсказанное значение Y.

Оценки коэффициентов для простой линейной регрессии

${\hat{\beta }}_1=\frac{{\sum }_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}$ ${\hat{\beta }}_0=\bar{Y}-{\hat{\beta }}_1\bar{X}$

Оценка качества модели

Коэффициент детерминации (R²)

Покажает долю дисперсии зависимой переменной, объясненную моделью:

$R^2=1-\frac{S{S}_{res}}{S{S}_{tot}}=1-\frac{{\sum }_{i=1}^n(Y_i-{\hat{Y}}_i{)}^2}{{\sum }_{i=1}^n(Y_i-\bar{Y}{)}^2}$

где:

• $S{S}_{res}$ — сумма квадратов остатков
• $S{S}_{tot}$ — общая сумма квадратов

Скорректированный R²

Учитывает количество предикторов в модели:

${\bar{R}}^2=1-(1-R^2)\frac{n-1}{n-k-1}$

где k — количество независимых переменных.

Статистические тесты в регрессии

Проверка значимости модели (F-тест)

$F=\frac{S{S}_{reg}/k}{S{S}_{res}/(n-k-1)}=\frac{{\sum }_{i=1}^n({\hat{Y}}_i-\bar{Y}{)}^2/k}{{\sum }_{i=1}^n(Y_i-{\hat{Y}}_i{)}^2/(n-k-1)}$

Проверка значимости отдельных коэффициентов (t-тест)

$t_j=\frac{{\hat{\beta }}_j}{SE({\hat{\beta }}_j)}$ где $SE({\hat{\beta }}_j)$ — стандартная ошибка коэффициента.

Матричная форма регрессии

Для множественной регрессии удобно использовать матричную запись:

$\mathbf{Y}=\mathbf{X}\mathbf{\beta }+\mathbf{\epsilon }$

где:

• $\mathbf{Y}$ — вектор зависимой переменной ($n\times 1$)
• $\mathbf{X}$ — матрица регрессоров ($n\times (k+1)$)
• $\mathbf{\beta }$ — вектор коэффициентов ($(k+1)\times 1$)
• $\mathbf{\epsilon }$ — вектор ошибок ($n\times 1$)

Оценки МНК в матричной форме:

$\hat{\mathbf{\beta }}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{Y}$

Специализированные виды регрессии

Логистическая регрессия

Для бинарных зависимых переменных: $\ln \left(\frac{p}{1-p}\right)={\beta }_0+{\beta }_1{X}_1+\cdots +{\beta }_k{X}_k$

где p — вероятность события.

Пуассоновская регрессия

Для счетных данных: $\ln (\lambda )={\beta }_0+{\beta }_1{X}_1+\cdots +{\beta }_k{X}_k$ где λ — интенсивность события.

Гребневая регрессия (Ridge)

Регуляризация для борьбы с мультиколлинеарностью:

${\hat{\mathbf{\beta }}}^{ridge}=\arg {\min }_{\beta }\left\{{\sum }_{i=1}^n(Y_i-{\beta }_0-{\sum }_{j=1}^k{\beta }_j{X}_{ij}{)}^2+\lambda {\sum }_{j=1}^k{\beta }_j^2\right\}$

Этапы регрессионного анализа

1. Постановка задачи — определение целей и переменных
2. Сбор и подготовка данных — проверка на выбросы, пропуски
3. Построение модели — выбор вида регрессии, оценка параметров
4. Диагностика модели — проверка предпосылок, анализ остатков
5. Интерпретация результатов — анализ коэффициентов, прогнозирование
6. Валидация модели — проверка на новых данных

Применение регрессионного анализа

• Экономика — прогнозирование ВВП, инфляции
• Медицина — определение факторов риска заболеваний
• Маркетинг — анализ влияния рекламы на продажи
• Социология — исследование социальных закономерностей
• Машинное обучение — как базовый алгоритм предсказания

Важность и ограничения

Сильные стороны:

• Простота интерпретации
• Широкая применимость
• Хорошая теоретическая база

Ограничения:

• Чувствительность к нарушениям предпосылок
• Не может доказать причинно-следственные связи
• Требует осторожности при экстраполяции

Регрессионный анализ остается одним из самых популярных и мощных инструментов статистического анализа, позволяющим количественно оценивать взаимосвязи между переменными и строить прогнозы.