Информация Фишера

Информация Фишера (Fisher Information)

Это фундаментальное понятие в математической статистике, которое количественно измеряет количество информации, которое несут наблюдаемые данные об неизвестном параметре статистической модели.

1. Основная идея (Интуиция)

Представьте, что вы настраиваете старый радиоприемник (параметр ($\theta$) — это точная частота станции). Вы крутите ручку и слушаете шипение (это ваши данные ($X$)).

• Информация Фишера — это мера того, насколько резко меняется “слышимость” станции при малейшем повороте ручки.
  • Если станция начинает резко звучать четко или резко пропадать при крошечном движении ручки (высокая чувствительность), это значит, что ваш слух (данные) дает вам много информации о точном положении ручки (параметре $\theta$). Информация Фишера велика.
  • Если при повороте ручки вы слышите лишь плавное изменение шипения (низкая чувствительность), то определить точное положение сложно. Информация Фишера мала.

Ключевая мысль: Информация Фишера измеряет ожидаемую чувствительность функции правдоподобия к изменению параметра.

---

2. Формальное определение

Пусть $X$ — случайная величина с функцией плотности вероятности (или вероятностной массой) $f(X;\theta )$, зависящей от неизвестного параметра $\theta$.

Шаг 1: Функция правдоподобия (Likelihood)

Функция правдоподобия для одного наблюдения определяется как: $L(\theta |X)=f(X;\theta )$ Нас интересует, как эта вероятность меняется с изменением (\theta).

Шаг 2: Функция вклада (Score Function)

Функция вклада — это производная от логарифма правдоподобия по параметру: $V(\theta )=\frac{\partial }{\partial \theta }\log L(\theta |X)$

• Интерпретация: $V(\theta )$ показывает, насколько быстро меняется логарифм правдоподобия при малом изменении параметра $\theta$.
  • Большое по модулю значение $|V(\theta )|$ означает высокую чувствительность и много информации.
  • Значение, близкое к нулю, означает мало информации.

Шаг 3: Информация Фишера (Expected Fisher Information)

Функция вклада $V(\theta )$— случайная величина. Информация Фишера $I(\theta )$ определяется как дисперсия функции вклада (математическое ожидание ее квадрата, поскольку $E[V(\theta )]=0$): $I(\theta )=E\left[{\left(\frac{\partial }{\partial \theta }\log L(\theta |X)\right)}^2\right]$

Существует эквивалентная форма, через вторую производную (кривизну): $I(\theta )=-E\left[\frac{{\partial }^2}{\partial {\theta }^2}\log L(\theta |X)\right]$

Эта форма подчеркивает, что информация Фишера измеряет вогнутость (кривизну) средней функции логарифмического правдоподобия. Чем “острее” и более выпукла вниз эта функция, тем больше информации.

---

3. Зачем она нужна? (Основное применение)

1. Неравенство Крамера-Рао (Cramér–Rao Bound)

Это фундаментальный предел точности для любой несмещенной оценки параметра.

Дисперсия любой несмещенной оценки $\hat{\theta }$ параметра $\theta$ не может быть меньше, чем величина, обратная информации Фишера:

$\text{Var}(\hat{\theta })\ge \frac{1}{I(\theta )}$

Интерпретация:

• Если $I(\theta )$ большая, то $\frac{1}{I(\theta )}$ маленькая. Существует возможность создать очень точную оценку.
• Если $I(\theta )$ маленькая, то даже самая лучшая несмещенная оценка будет неточной.

2. Асимптотические свойства оценок максимального правдоподобия (ММП)

Оценки максимального правдоподобия (${\hat{\theta }}_{MLE}$) являются асимптотически эффективными. Для больших объемов выборки ($n\to \infty$):

• Они являются несмещенными.
• Их дисперсия достигает нижней границы Крамера-Рао: $\text{Var}({\hat{\theta }}_{MLE})\approx \frac{1}{I(\theta )}$

Таким образом, информация Фишера напрямую определяет точность наилучшей возможной оценки для больших выборок.

---

4. Простой пример: Информация Фишера для распределения Бернулли

Пусть ( $X\sim \text{Bernoulli}(\theta )$ ), где ( $\theta$ ) — вероятность “успеха”. Мы хотим оценить ( $\theta$ ).

• Функция правдоподобия для одного наблюдения: $L(\theta |X)={\theta }^X(1-\theta {)}^{1-X}$

• Логарифм правдоподобия: $\log L(\theta |X)=X\log (\theta )+(1-X)\log (1-\theta )$

• Функция вклада (первая производная): $V(\theta )=\frac{\partial }{\partial \theta }\log L(\theta |X)=\frac{X}{\theta }-\frac{1-X}{1-\theta }$

• Вторая производная: $\frac{{\partial }^2}{\partial {\theta }^2}\log L(\theta |X)=-\frac{X}{{\theta }^2}-\frac{1-X}{(1-\theta {)}^2}$

• Информация Фишера (ожидаемое значение с обратным знаком): $I(\theta )=-E\left[\frac{{\partial }^2}{\partial {\theta }^2}\log L(\theta |X)\right]=E\left[\frac{X}{{\theta }^2}+\frac{1-X}{(1-\theta {)}^2}\right]$ Поскольку $E[X]=\theta$ , подставляем: $I(\theta )=\frac{\theta }{{\theta }^2}+\frac{1-\theta }{(1-\theta {)}^2}=\frac{1}{\theta }+\frac{1}{1-\theta }=\frac{1}{\theta (1-\theta )}$

Интерпретация результата:

• Когда $\theta$ близко к 0 или 1, информация $I(\theta )$ велика. Даже несколько наблюдений дают четкий сигнал о значении параметра.
• Когда $\theta =0.5$, информация $I(\theta )$ минимальна. Требуется много данных, чтобы убедиться, что параметр действительно равен 0.5.

Итог

Информация Фишера $I(\theta )$ — это:

1. Мера информации: $I(\theta )=E\left[{\left(\frac{\partial }{\partial \theta }\log L(\theta |X)\right)}^2\right]$
2. Мера точности: Задает теоретический предел точности оценок: $\text{Var}(\hat{\theta })\ge \frac{1}{I(\theta )}$.
3. Мера чувствительности: Характеризует кривизну функции правдоподобия.

Это краеугольный камень современной теории статистического вывода.