Вырожденная матрица

Вырожденная матрица (она же сингулярная) — это квадратная матрица $A$ размера $n\times n$, определитель которой равен нулю:

$$\det A=0.$$

Эквивалентные определения:

• её ранг меньше $n$;
• её строки или столбцы линейно зависимы;
• существует ненулевой вектор $x$, такой что $Ax=0$;
• число $0$ является её собственным значением;
• у неё нет обратной матрицы $A^{-1}$.

Пример:

$$A=\left(\begin{array}{cc}1& 2\\ 2& 4\end{array}\right),\det A=1\cdot 4-2\cdot 2=0.$$

Второй столбец в два раза больше первого, поэтому матрица вырождена.

Почему это «плохо»

Главная проблема: такую матрицу нельзя обратить, а значит, нельзя однозначно решить многие задачи.

1. Система $Ax=b$ не имеет единственного решения.

   • Либо решений нет вообще.
   • Либо решений бесконечно много.

   Например, для вырожденной матрицы выше уравнение

   $$x+2y=3,2x+4y=6$$

   имеет бесконечно много решений. А если справа поставить $7$, то решений не будет.

2. Нельзя найти обратную матрицу. Формулы вроде $x=A^{-1}b$ перестают работать. Многие алгоритмы, которые требуют $A^{-1}$, просто ломаются.

3. Теряется информация о преобразовании. Геометрически вырожденная матрица сжимает пространство в подпространство меньшей размерности: например, плоскость превращает в прямую или точку. Разные векторы могут давать один и тот же результат, и «развернуть» преобразование назад невозможно.

4. Численные методы становятся неустойчивыми. Даже если матрица не строго вырождена, но близка к ней, определитель мал, а число обусловленности велико. Тогда маленькие ошибки в данных или округлениях могут сильно менять ответ.

5. В статистике и регрессии это тоже проблема. Если матрица $X^{T}X$ вырождена, это часто означает мультиколлинеарность: признаки линейно зависимы, и коэффициенты модели нельзя оценить однозначно.

Важная оговорка

Вырожденная матрица — не всегда «ошибка». Иногда она возникает естественно: например, в задачах с проекциями, ограничениями или симметриями. Но если вы хотите обратить матрицу или получить единственное решение системы, то вырожденность — это плохо.