Информация

Если говорить просто, то информация в статистике — это мера того, насколько наблюдение или данные уменьшают нашу неопределенность относительно неизвестного параметра.

Чем больше информации несут в себе данные, тем точнее мы можем оценить параметр (например, среднее значение, дисперсию) и тем увереннее сделать выводы.

Давайте разберем это подробнее.

Ключевые аспекты информации в статистике:

1. Информация против данных: Данные — это просто сырые факты и числа. Информация — это ценность, которую мы извлекаем из этих данных для ответа на конкретный вопрос. Одни и те же данные могут нести много информации об одном параметре и совсем мало — о другом.

2. Зависимость от вероятности: Количество информации тесно связано с вероятностью увидеть те или иные данные при разных значениях параметра.

   • Если определенное наблюдение очень вероятно при каком-то значении параметра, оно несет мало информации (мы его и так ожидали).
   • Если наблюдение маловероятно, но мы его все же видим, оно несет много информации (это заставляет нас пересмотреть наши предположения).

---

Формализация: Количество информации Фишера

Самое важное математическое понятие — Информация Фишера (Fisher Information). Это мера количества информации, которую случайная величина ($X$) carries about неизвестному параметру ($\theta$), от которого зависит распределение вероятностей ($X$).

Как она вычисляется?

1. Функция правдоподобия (Likelihood Function) ($L(\theta |x)$): Это вероятность (или плотность вероятности) получить наши данные ($x$) при заданном значении параметра ( $\theta$ ). Информация Фишера определяется через эту функцию.

2. Формула: Информация Фишера ($I(\theta )$) для выборки из одного наблюдения определяется как:

   $$I(\theta )=E\left[{\left(\frac{\partial }{\partial \theta }\log L(\theta |X)\right)}^2\right]$$
   • $\frac{\partial }{\partial \theta }\log L(\theta |X)$— это функция вклада (score function). Она показывает, насколько быстро меняется логарифм правдоподобия при малом изменении параметра $\theta$. Резкое изменение означает, что данные очень чувствительны к параметру, то есть несут много информации.
   • Математическое ожидание $E[...]$ усредняет квадрат этой чувствительности по всем возможным выборкам.

Зачем нужна информация Фишера?

1. Неравенство Крамера-Рао (Cramér–Rao bound): Это фундаментальный результат, который гласит: дисперсия любой несмещенной оценки параметра не может быть меньше, чем величина, обратная информации Фишера.

   Это задает теоретический предел точности, которого можно достичь при оценке параметра. Чем больше ( I(\theta) ), тем меньше минимально возможная дисперсия нашей оценки, а значит, тем точнее мы можем оценить ( \theta ).

2. Асимптотическая эффективность оценок максимального правдоподобия (ММП): Оценки, найденные методом максимального правдоподобия, являются асимптотически эффективными. Это значит, что для больших выборок их дисперсия достигает нижней границы Крамера-Рао: $\text{Var}({\hat{\theta }}_{MLE})\approx \frac{1}{I(\theta )}$.

---

Простой пример

Представьте, что вы подбрасываете монету с неизвестной вероятностью ( p ) выпадения «орла».

• Сценарий 1 (мало информации): Вы подбросили монету 10 раз и получили 5 орлов и 5 решек. Это очень ожидаемый результат для “честной” монеты ($p\approx 0.5$), но возможен и для других значений). Эти данные не сильно уменьшают нашу неопределенность о точном значении $p$. Информация Фишера здесь будет относительно невелика.
• Сценарий 2 (много информации): Вы подбросили монету 10 раз и получили 10 орлов. Это маловероятное событие, если монета честная. Эти данные резко уменьшают нашу неопределенность — мы почти уверены, что $p$ близко к 1. Такие данные несут большое количество информации о параметре $p$.

Итог

Информация — это строгая количественная мера, показывающая, насколько данные позволяют уточнить значения неизвестных параметров модели.

Информация — это «валюта» статистического вывода: мы «покупаем» точность и уверенность в своих выводах, собирая данные, которые несут много информации.