Положительно полуопределенная матрица

Отличный вопрос! Положительно полуопределенная матрица — это ключевое понятие в линейной алгебре и математической статистике с важными практическими приложениями.

Формальное определение

Квадратная матрица $A \in R^{n \times n}$ называется положительно полуопределенной, если для любого вектора $x \in R^{n}$ выполняется:

$x^{T} A x \geq 0$

где $x^{T}$ — транспонированный вектор (вектор-строка).

Эквивалентные характеристики

Матрица является положительно полуопределенной, если выполняется любое из следующих условий:

1. Через квадратичную форму

$x^{T} A x \geq 0 для всех x \in R^{n}$

2. Через собственные значения

Все собственные значения матрицы $A$ неотрицательны - $λ_{i} \geq 0$ для всех $i = 1, \dots, n$

3. Через главные миноры

Все главные миноры матрицы неотрицательны
Главный минор — определитель подматрицы, образованной первыми $k$ строками и столбцами

4. Для симметричных матриц (частый случай)

Если $A$ симметрична ( $A = A^{T}$ ), то существует разложение:

$A = Q Λ Q^{T}$ где $Q$ — ортогональная матрица, $Λ$ — диагональная матрица с неотрицательными элементами (собственными значениями).

Примеры

Пример 1: Положительно полуопределенная матрица

$A = (2112)$

Проверим для произвольного вектора $x = (x_{1}, x_{2})^{T}$ : $x^{T} A x = (x_{1} x_{2}) (2112) (x_{1} x_{2}) = 2 x_{1}^{2} + 2 x_{1} x_{2} + 2 x_{2}^{2}$ $= 2 (x_{1}^{2} + x_{1} x_{2} + x_{2}^{2}) \geq 0 для всех x_{1}, x_{2}$

Собственные значения: $λ_{1} = 3, λ_{2} = 1$ (оба положительны)

Пример 2: НЕ положительно полуопределенная матрица

$B = (1221)$

Для $x = (1, - 1)^{T}$ :

Собственные значения: $λ_{1} = 3, λ_{2} = - 1$ (одно отрицательное)

Геометрическая интерпретация

Для квадратичной формы $f (x) = x^{T} A x$ :

Положительно полуопределенная: Квадратичная форма представляет собой “чашу”, которая всюду неотрицательна, но может иметь “плоские” участки (где равна 0)
Положительно определенная: Строго положительная “чаша” без плоских участков
Отрицательно полуопределенная: “Перевернутая чаша”, всюду неположительная

Связь с другими типами матриц

graph TD
    A[Симметричные матрицы] --> B[Положительно полуопределенные]
    B --> C[Положительно определенные]
    
    B --> D[Неотрицательные собственные значения]
    C --> E[Положительные собственные значения]
    
    B --> F[xᵀAx ≥ 0 для всех x]
    C --> G[xᵀAx > 0 для всех x ≠ 0]

Приложения в статистике

1. Ковариационные матрицы

Любая ковариационная матрица $Σ$ является положительно полуопределенной. Для любого вектора $x$ : $x^{T} Σ x = Var (x^{T} X) \geq 0$ Так как дисперсия всегда неотрицательна.

2. Неравенство Крамера-Рао

Запись $Cov (\hat{θ}) \geq I (θ)^{- 1}$ означает, что матрица: $Cov (\hat{θ}) - I (θ)^{- 1}$ является положительно полуопределенной.

Интерпретация: Для любой линейной комбинации параметров оценка имеет дисперсию не меньше, чем предсказывает граница Крамера-Рао.

3. Многомерное нормальное распределение

Плотность многомерного нормального распределения: $f (x) = \frac{1}{( 2 π ) ^{n} ∣Σ∣} exp (- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ))$ требует, чтобы $Σ$ была положительно определенной.

Проверка на положительную полуопределенность

Практические способы:

Вычисление собственных значений

import numpy as np
 
A = np.array([[2, 1], [1, 2]])
eigenvalues = np.linalg.eigvals(A)
# Если все eigenvalues >= 0, то матрица PSD

Критерий Сильвестра
- Все главные миноры неотрицательны.
- Для матрицы $(a b b c)$ : $a \geq 0, c \geq 0, a c - b^{2} \geq 0$ .
Разложение Холецкого
- Если можно выполнить разложение Холецкого $A = L L^{T}$ , то матрица положительно полуопределенная.

Важные свойства

Сумма положительно полуопределенных матриц — положительно полуопределенная
Если $A$ — положительно полуопределенная, то $B A B^{T}$ — тоже для любой матрицы $B$
Все диагональные элементы неотрицательны
След матрицы равен сумме собственных значений и поэтому неотрицателен

Положительно полуопределенная матрица — это математическая формализация понятия “неотрицательности” для матриц, играющая важную роль в оптимизации, статистике и машинном обучении.

Data Science

Проводник