Фактор инфляции дисперсии (VIF)

Фактор инфляции дисперсии (VIF) — это числовой показатель, который измеряет, насколько дисперсия (вариация) оценки коэффициента регрессии увеличивается из-за мультиколлинеарности между предикторами.

Математическое определение

Для предиктора $X_j$ VIF вычисляется по формуле:

$VI{F}_j=\frac{1}{1-R_j^2}$

где:

• $R_j^2$ — коэффициент детерминации регрессионной модели, в которой предиктор $X_j$ является зависимой переменной, а все остальные предикторы — независимыми переменными

Как вычисляется VIF?

Шаг 1: Вспомогательная регрессия

Для каждого предиктора $X_j$ строится регрессионная модель:

$X_j={\alpha }_0+{\alpha }_1{X}_1+{\alpha }_2{X}_2+\cdots +{\alpha }_{j-1}{X}_{j-1}+{\alpha }_{j+1}{X}_{j+1}+\cdots +{\alpha }_k{X}_k+\epsilon$

Шаг 2: Расчет $R_j^2$

Из этой регрессии извлекается коэффициент детерминации $R_j^2$, который показывает, какая доля дисперсии $X_j$ объясняется другими предикторами.

Шаг 3: Расчет VIF

$VI{F}_j=\frac{1}{1-R_j^2}$

Интерпретация значений VIF

Значение VIF	Степень мультиколлинеарности	Интерпретация
VIF = 1	Отсутствует	Нет корреляции с другими предикторами
1 < VIF < 5	Умеренная	Приемлемый уровень
5 ≤ VIF < 10	Высокая	Требует внимания
VIF ≥ 10	Критическая	Серьезная проблема

Почему VIF работает?

Из формулы дисперсии коэффициента регрессии в методе наименьших квадратов:

$\text{Var}({\hat{\beta }}_j)=\frac{{\sigma }^2}{SS{T}_j(1-R_j^2)}=\frac{{\sigma }^2}{SS{T}_j}\cdot VI{F}_j$

где:

• ${\sigma }^2$ — дисперсия ошибок
• $SS{T}_j$ — общая сумма квадратов для $X_j$
• $VI{F}_j$ — фактор инфляции дисперсии

VIF показывает, во сколько раз увеличивается дисперсия коэффициента из-за мультиколлинеарности.

Практический пример

Предположим, у нас есть модель с тремя предикторами: $X_1$, $X_2$, $X_3$

Вычисление VIF для $X_1$:

1. Строим регрессию: $X_1={\alpha }_0+{\alpha }_2{X}_2+{\alpha }_3{X}_3$
2. Получаем $R_1^2=0.8$
3. Вычисляем: $VI{F}_1=\frac{1}{1-0.8}=\frac{1}{0.2}=5$

Интерпретация:

Дисперсия коэффициента ${\hat{\beta }}_1$ в 5 раз больше, чем была бы при отсутствии мультиколлинеарности.

Особые случаи

Совершенная мультиколлинеарность:

Если $R_j^2=1$, то: $VI{F}_j=\frac{1}{1-1}=\frac{1}{0}\to \infty$

Полная независимость:

Если $R_j^2=0$, то: $VI{F}_j=\frac{1}{1-0}=1$

Средний VIF

Для общей оценки мультиколлинеарности в модели можно использовать средний VIF:

$\text{Mean VIF}=\frac{1}{k}{\sum }_{j=1}^{k}VI{F}_j$

где $k$ — количество предикторов.

Практическое применение

В Python (statsmodels):

from statsmodels.stats.outliers_influence import variance_inflation_factor
from statsmodels.tools.tools import add_constant
 
# Добавляем константу
X_with_const = add_constant(X)
 
# Вычисляем VIF для каждого предиктора
vif_data = pd.DataFrame()
vif_data["Variable"] = X_with_const.columns
vif_data["VIF"] = [variance_inflation_factor(X_with_const.values, i) 
                   for i in range(X_with_const.shape[1])]

В R:

library(car)
vif(model)  # Вычисляет VIF для всех предикторов в модели

Ограничения VIF

1. Не обнаруживает все формы мультиколлинеарности — только линейные зависимости
2. Не указывает, какие переменные коррелированы — только факт наличия проблемы
3. Чувствителен к спецификации модели — добавление/удаление переменных меняет VIF

Рекомендации по использованию

1. Пороговое значение 10 — общепринятый критерий для серьезной мультиколлинеарности
2. Сравнительный анализ — смотреть на относительные значения VIF разных предикторов
3. Содержательный смысл — иногда высокая корреляция между предикторами оправдана содержательно
4. Для прогнозирования — если цель прогноз, а не интерпретация коэффициентов, можно допустить более высокие значения VIF

VIF — это мощный диагностический инструмент, который помогает понять, насколько надежны оценки коэффициентов в регрессионном анализе и стоит ли беспокоиться о мультиколлинеарности.