Предпосылки линейной регрессии

Предпосылки линейной регрессии

Для того чтобы оценка методом наименьших квадратов (МНК) была наилучшей линейной несмещенной оценкой (BLUE - Best Linear Unbiased Estimator), должны выполняться следующие предпосылки Гаусса-Маркова, а также предположение о нормальности ошибок для проведения статистических тестов.

1. Линейность параметров

Связь между зависимой переменной $Y$ и регрессорами $X_1,X_2,...,X_k$ является линейной по параметрам ${\beta }_0,{\beta }_1,...,{\beta }_k$.

$Y_i={\beta }_0+{\beta }_1{X}_{1i}+{\beta }_2{X}_{2i}+...+{\beta }_k{X}_{ki}+{\epsilon }_i,i=1,2,...,n$

Это не исключает наличие нелинейных членов (например, $X^2$ ), но модель должна быть линейна относительно коэффициентов $\beta$.

2. Случайность выборки и нулевое математическое ожидание ошибок

Наблюдения представляют собой случайную выборку из генеральной совокупности. При этом условное математическое ожидание ошибки равно нулю.

$E[{\epsilon }_i|X]=0$

Это означает, что модель правильно специфицирована и нет систематической ошибки (omitted variable bias). Любая информация, которая могла бы объяснить $Y$, уже содержится в $X$.

3. Отсутствие совершенной мультиколлинеарности

Ни одна из независимых переменных не является константой, и между независимыми переменными нет строгой линейной зависимости.

$\text{Ранг матрицы }X\text{ равен }k+1,\text{где }k-\text{ количество регрессоров}.$

Если это условие нарушается (например, одна переменная является точной линейной комбинацией других), матрица $(X^{T}X)$ становится вырожденной, и невозможно найти единственное решение для коэффициентов $\hat{\beta }$.

4. Гомоскедастичность

Условная дисперсия ошибки ${\epsilon }_i$ постоянна для всех наблюдений и не зависит от значений $X$ .

$\text{Var}({\epsilon }_i|X)={\sigma }^2\text{для всех }i$

Нарушение этого условия (гетероскедастичность) не делает оценки коэффициентов смещенными, но они перестают быть эффективными (минимальная дисперсия), и стандартные ошибки становятся несостоятельными.

5. Отсутствие автокорреляции

Ошибки ${\epsilon }_i$ и ${\epsilon }_j$ не коррелированы друг с другом для любых $i\ne j$.

$\text{Cov}({\epsilon }_i,{\epsilon }_j|X)=0,i\ne j$

Это условие критически важно для временных рядов, где последующие наблюдения часто зависят от предыдущих.

6. Нормальность ошибок (для статистических выводов)

Для проведения точных статистических тестов (t-тестов, F-тестов) и построения доверительных интервалов в рамках малых выборок, ошибки должны быть нормально распределены.

${\epsilon }_i|X\sim N(0,{\sigma }^2)$

В больших выборках это условие часто ослабевает благодаря Центральной Предельной Теореме.

Краткое резюме последствий нарушений:

• Нарушение линейности: Оценки смещены и несостоятельны.
• Нарушение $E[\epsilon |X]=0$: Оценки смещены и несостоятельны (проблема пропущенных переменных).
• Нарушение гомоскедастичности: Оценки несмещены, но неэффективны; неверные стандартные ошибки.
• Нарушение отсутствия автокорреляции: Оценки несмещены, но неэффективны; неверные стандартные ошибки.
• Нарушение отсутствия мультиколлинеарности: Невозможно оценить модель.
• Нарушение нормальности: Проблемы с малыми выборками; тесты и интервалы неточны.