Неравенство Крамера-Рао

Неравенство Крамера-Рао (Cramér-Rao bound) — это фундаментальный результат математической статистики, который устанавливает нижнюю границу для дисперсии любой несмещенной оценки параметра.

---

Формулировка неравенства

Скалярный случай (один параметр)

Пусть:

• $X=(X_1,X_2,\dots ,X_n)$ — выборка из распределения с функцией плотности (или вероятности) $f(X;\theta )$, зависящей от неизвестного параметра $\theta \in \Theta$
• $\hat{\theta }(X)$ — несмещенная оценка параметра $\theta$, то есть $E[\hat{\theta }]=\theta$
• Выполнены условия регулярности (можно менять порядок интегрирования и дифференцирования)

Тогда справедливо неравенство:

$\text{Var}(\hat{\theta })\ge \frac{1}{I(\theta )}$

где $I(\theta )$ — информация Фишера, определяемая как:

$I(\theta )=E\left[{\left(\frac{\partial }{\partial \theta }\log f(X;\theta )\right)}^2\right]=-E\left[\frac{{\partial }^2}{\partial {\theta }^2}\log f(X;\theta )\right]$

Векторный случай (несколько параметров)

Для векторного параметра $\mathbf{\theta }=({\theta }_1,{\theta }_2,\dots ,{\theta }_k{)}^T$ и несмещенной оценки $\hat{\mathbf{\theta }}$ ($E[\hat{\mathbf{\theta }}]=\mathbf{\theta }$):

$\text{Cov}(\hat{\mathbf{\theta }})\ge I(\mathbf{\theta }{)}^{-1}$

где:

• $\text{Cov}(\hat{\mathbf{\theta }})$ — ковариационная матрица оценки
• $I(\mathbf{\theta })$ — матрица информации Фишера с элементами:

$I_{ij}(\mathbf{\theta })=E\left[\frac{\partial \log f(X;\mathbf{\theta })}{\partial {\theta }_i}\cdot \frac{\partial \log f(X;\mathbf{\theta })}{\partial {\theta }_j}\right]=-E\left[\frac{{\partial }^2\log f(X;\mathbf{\theta })}{\partial {\theta }_i\partial {\theta }_j}\right]$

Знак ”≥” для матриц означает, что разность левой и правой части является положительно полуопределенной матрицей.

---

Условия регулярности

Для справедливости неравенства должны выполняться:

1. Носитель распределения $f(X;\theta )$ не зависит от $\theta$
2. Функция $f(X;\theta )$ дифференцируема по $\theta$
3. Можно менять порядок интегрирования и дифференцирования:

$\frac{\partial }{\partial \theta }\int f(X;\theta )dX=\int \frac{\partial }{\partial \theta }f(X;\theta )dX$

---

Вывод неравенства (скалярный случай)

Шаг 1: Функция вклада (Score Function)

$S(\theta )=\frac{\partial }{\partial \theta }\log f(X;\theta )=\frac{1}{f(X;\theta )}\cdot \frac{\partial f(X;\theta )}{\partial \theta }$

Из условий регулярности следует, что $E[S(\theta )]=0$.

Шаг 2: Ковариация оценки и функции вклада

Рассмотрим ковариацию между оценкой $\hat{\theta }$ и функцией вклада $S(\theta )$:

$\text{Cov}(\hat{\theta },S(\theta ))=E[\hat{\theta }\cdot S(\theta )]-E[\hat{\theta }]\cdot E[S(\theta )]=E[\hat{\theta }\cdot S(\theta )]$

Вычислим $E[\hat{\theta }\cdot S(\theta )]$:

$E[\hat{\theta }\cdot S(\theta )]=\int \hat{\theta }\cdot \frac{\partial }{\partial \theta }\log f(X;\theta )\cdot f(X;\theta )dX=\int \hat{\theta }\cdot \frac{\partial f(X;\theta )}{\partial \theta }dX$

По условию регулярности:

$\int \hat{\theta }\cdot \frac{\partial f(X;\theta )}{\partial \theta }dX=\frac{\partial }{\partial \theta }\int \hat{\theta }\cdot f(X;\theta )dX=\frac{\partial }{\partial \theta }E[\hat{\theta }]=\frac{\partial \theta }{\partial \theta }=1$

Таким образом:

$\text{Cov}(\hat{\theta },S(\theta ))=1$

Шаг 3: Применение неравенства Коши-Шварца

По неравенству Коши-Шварца для ковариации:

$[\text{Cov}(\hat{\theta },S(\theta )){]}^2\le \text{Var}(\hat{\theta })\cdot \text{Var}(S(\theta ))$

Подставляя $\text{Cov}(\hat{\theta },S(\theta ))=1$ и $\text{Var}(S(\theta ))=I(\theta )$, получаем:

$1\le \text{Var}(\hat{\theta })\cdot I(\theta )$

Откуда:

$\text{Var}(\hat{\theta })\ge \frac{1}{I(\theta )}$

---

Обобщение для смещенных оценок

Если оценка $\hat{\theta }$ имеет смещение $b(\theta )=E[\hat{\theta }]-\theta$, то неравенство принимает вид:

$\text{Var}(\hat{\theta })\ge \frac{{\left(1+\frac{\partial b(\theta )}{\partial \theta }\right)}^2}{I(\theta )}$

---

Пример: оценка параметра распределения Бернулли

Пусть $X_1,\dots ,X_n\sim \text{Bernoulli}(\theta )$. Информация Фишера для одного наблюдения:

$I_1(\theta )=\frac{1}{\theta (1-\theta )}$

Для выборки из $n$ наблюдений: $I_n(\theta )=n\cdot I_1(\theta )=\frac{n}{\theta (1-\theta )}$

Неравенство Крамера-Рао дает:

$\text{Var}(\hat{\theta })\ge \frac{\theta (1-\theta )}{n}$

Оценка $\hat{\theta }=\frac{1}{n}\sum X_i$ (выборочное среднее) является несмещенной и имеет дисперсию $\frac{\theta (1-\theta )}{n}$, то есть достигает границы Крамера-Рао — это эффективная оценка.

---

Интерпретация и значение

1. Теоретический предел точности: Нижняя граница для дисперсии любой несмещенной оценки
2. Эффективные оценки: Оценки, достигающие этой границы, называются эффективными
3. Критерий оптимальности: Позволяет сравнивать различные оценки
4. Связь с информацией Фишера: Чем больше информации в данных о параметре, тем точнее можно его оценить

Неравенство Крамера-Рао — краеугольный камень теории оценивания, устанавливающий фундаментальные ограничения на точность статистических выводов.