Вырожденная (сингулярная) ковариационная матрица

Вырожденная (сингулярная) ковариационная матрица — это матрица, определитель которой равен нулю, и которая не имеет обратной матрицы. В статистике это сигнал о том, что между переменными (или случайными эффектами) существует линейная зависимость, и часть информации в матрице избыточна.

---

1. Что такое ковариационная матрица

Пусть есть вектор случайных величин $X=(X_1,\dots ,X_p{)}^{\top }$. Ковариационная матрица:

$$\Sigma =\text{Cov}(X)=\left(\begin{array}{ccc}\text{Var}(X_1)& \text{Cov}(X_1,X_2)& \cdots \\ \text{Cov}(X_2,X_1)& \text{Var}(X_2)& \cdots \\ ⋮& ⋮& \ddots \end{array}\right)$$

Она симметрична и положительно полуопределена: для любого вектора $v$ выполнено $v^{\top }\Sigma v\ge 0$. Это означает, что дисперсия любой линейной комбинации $v^{\top }X$ неотрицательна.

---

2. Что значит «вырождена»

Ковариационная матрица $\Sigma$ вырождена, если:

$$\det (\Sigma )=0$$

Эквивалентные формулировки:

• Нет обратной матрицы ${\Sigma }^{-1}$.
• Ранг меньше размерности: $\text{rank}(\Sigma )<p$.
• Есть линейная зависимость между компонентами: существует ненулевой вектор $v$, такой что $v^{\top }X=\text{const}$ (с вероятностью 1).
• Есть нулевое собственное значение: хотя бы одно ${\lambda }_i=0$.
• Дисперсия некоторой линейной комбинации равна нулю: $v^{\top }\Sigma v=0$ для некоторого $v\ne 0$.

---

3. Простой пример

Пусть $X_1$ — случайная величина, а $X_2=2X_1$. Тогда:

$$\Sigma =\left(\begin{array}{cc}{\sigma }^2& 2{\sigma }^2\\ 2{\sigma }^2& 4{\sigma }^2\end{array}\right)$$

Определитель: ${\sigma }^2\cdot 4{\sigma }^2-2{\sigma }^2\cdot 2{\sigma }^2=0$. Матрица вырождена, потому что $X_2$ полностью определяется через $X_1$ — нет независимой информации.

---

4. Почему это проблема

В линейной алгебре

• Нельзя решить систему $\Sigma x=b$.
• Нельзя вычислить ${\Sigma }^{-1}$, которая нужна во многих формулах (например, в обобщённом МНК, многомерном нормальном распределении).

В статистике

• Многомерное нормальное распределение $N(\mu ,\Sigma )$ не имеет плотности, если $\Sigma$ вырождена: распределение сосредоточено на подпространстве меньшей размерности.
• Обобщённый МНК $\hat{\beta }=(X^{\top }{\Sigma }^{-1}X{)}^{-1}{X}^{\top }{\Sigma }^{-1}y$ не работает.
• Максимальное правдоподобие для многомерных моделей ломается.
• Стандартные ошибки нельзя корректно оценить.

В смешанных моделях

Это особенно важно. В LMM/GLMM ковариационная матрица случайных эффектов $D$ может оказаться вырожденной. Это означает:

• Singular fit — сообщение, которое выдаёт lme4 в R.
• Дисперсия одного из случайных эффектов оценилась как ноль.
• Или корреляция между случайными эффектами достигла $\pm 1$.
• Модель «перепараметризована»: случайных эффектов больше, чем данных может поддержать.

Пример: вы включили случайный перехват и случайный наклон по времени, но в данных у каждого субъекта всего 2 измерения. Тогда прямую можно провести идеально через две точки, и остаточная дисперсия вокруг индивидуальной линии равна нулю — матрица $D$ становится вырожденной.

---

5. Причины вырожденности

1. Линейная зависимость переменных — одна переменная является линейной комбинацией других.
2. Константа среди переменных — если включить константу и ещё одну константную переменную.
3. Дублирование переменных — две одинаковые колонки.
4. Мультиколлинеарность — почти линейная зависимость (близка к вырожденности).
5. Мало наблюдений — число наблюдений меньше числа переменных.
6. Слишком сложная структура случайных эффектов — больше случайных эффектов, чем группа может поддержать.
7. Нулевая дисперсия — одна из переменных не меняется внутри групп.
8. Идеальная корреляция случайных эффектов — перехват и наклон связаны детерминированно.

---

6. Как обнаружить

• Определитель близок к нулю или равен нулю.
• Собственные значения: хотя бы одно $\approx 0$ или отрицательное (из-за численных ошибок).
• Число обусловленности $\kappa ={\lambda }_{\max }/{\lambda }_{\min }$ очень велико.
• В R: isSingular(model) для lme4, check_singularity = TRUE.
• Корреляция случайных эффектов $\pm 1$.
• Дисперсия случайного эффекта ровно 0.
• Предупреждение: «boundary (singular) fit».

---

7. Что делать

Если это матрица предикторов $X^{\top }X$

• Удалить линейно зависимые переменные.
• Использовать регуляризацию (гребневая регрессия, LASSO).
• Применить псевдообратную матрицу (Мура–Пенроуза).
• Использовать разложение Холецкого с pivoting.

Если это ковариационная матрица случайных эффектов $D$ в LMM

• Упростить структуру случайных эффектов: убрать случайный наклон, оставить только перехват.
• Сделать случайные эффекты некоррелированными: (1 | id) + (0 + time | id) вместо (1 + time | id).
• Убрать случайный эффект, если он не нужен.
• Увеличить данные — больше наблюдений на группу.
• Перепараметризовать модель — центрировать предикторы, изменить масштаб.
• Использовать байесовский подход с априорными распределениями, которые штрафуют вырожденность (например, brms, rstanarm).
• Проверить, не является ли вырожденность граничной — иногда дисперсия действительно равна нулю, и это содержательный результат.

---

8. Вырожденность vs почти вырожденность

• Вырожденная — определитель ровно 0, обратной матрицы нет.
• Почти вырожденная (ill-conditioned) — определитель мал, но не ноль. Обратная матрица есть, но вычисления численно нестабильны: малые изменения данных сильно меняют результат.

На практике почти вырожденность часто так же опасна, как полная.

---

9. В контексте смешанных моделей: singular fit

lme4 выдаёт:

boundary (singular) fit: see help('isSingular')

Это значит:

• один или несколько параметров дисперсии оценены как 0;
• или корреляция случайных эффектов $\pm 1$;
• модель всё ещё можно интерпретировать, но случайные эффекты упростились;
• стандартные ошибки и тесты могут быть ненадёжны.

Решение: упростить random effects, использовать nlme или байесовские методы, проверить данные.

---

Кратко

Вырожденная ковариационная матрица — это матрица с нулевым определителем, без обратной матрицы. Она означает линейную зависимость между переменными или случайными эффектами. В статистике это ломает формулы, требующие обращения, и сигнализирует о перепараметризации модели. В смешанных моделях это проявляется как singular fit: дисперсия случайного эффекта равна нулю или корреляция $\pm 1$. Лечится упрощением структуры случайных эффектов, удалением лишних переменных, регуляризацией или байесовским подходом.