Функция правдоподобия

Суть одним предложением

Функция правдоподобия — это функция, которая измеряет, насколько “правдоподобны” различные значения параметров статистической модели при условии, что мы уже наблюдали конкретные данные.

Ключевая идея: меняется взгляд на вероятность

Чтобы понять функцию правдоподобия, нужно перевернуть с ног на голову обычное понимание вероятности.

• Обычный взгляд (Вероятность): У нас есть модель с известными параметрами (например, монета с p(орёл) = 0.5). Мы вычисляем вероятность получить какие-то данные (например, 2 орла из 3 бросков).

  • Вопрос: Какова вероятность данных при заданных параметрах?
  • Обозначение: P(Данные | Параметры)

• Взгляд правдоподобия: У нас есть уже собранные данные (например, мы бросили монету 3 раза и получили 2 орла). Мы вычисляем, насколько правдоподобны различные параметры модели (разные значения p) для объяснения этих данных.

  • Вопрос: Насколько правдоподобны параметры при заданных данных?
  • Обозначение: L(Параметры | Данные)

Важнейший момент: Функция правдоподобия — это не вероятность. Она не суммируется до 1. Ее абсолютное значение не имеет прямого вероятностного смысла. Важны относительные значения для разных параметров.

---

Математическое определение

Для набора независимых данных X = (x₁, x₂, ..., xₙ) и параметров модели θ функция правдоподобия L(θ | X) определяется как совместная вероятность (или плотность вероятности) получения этих данных при заданных параметрах:

Для дискретных данных: L(θ | X) = P(x₁ | θ) * P(x₂ | θ) * ... * P(xₙ | θ)

Для непрерывных данных: L(θ | X) = f(x₁ | θ) * f(x₂ | θ) * ... * f(xₙ | θ) где f — функция плотности вероятности.

Так как это произведение многих чисел, с ним часто неудобно работать. Поэтому почти всегда используют логарифмическую функцию правдоподобия (Log-Likelihood):

ℓ(θ | X) = log(L(θ | X)) = Σ [log(f(xᵢ | θ))]

Произведение превращается в сумму, что гораздо удобнее для анализа и поиска максимума.

---

Наглядный пример с монетой

Данные: Мы подбросили монету 10 раз и получили 7 орлов и 3 решки. Модель: Биномиальное распределение. Параметр, который мы оцениваем — p (вероятность орла).

Функция правдоподобия показывает, насколько правдоподобно каждое возможное значение p (от 0 до 1) для объяснения наших данных (7 орлов из 10).

L(p | данные) = P(7 орлов из 10 | p) = C(10,7) * p⁷ * (1-p)³

где C(10,7) — биномиальный коэффициент (константа).

Давайте посчитаем правдоподобие для нескольких значений p:

• Если p = 0.5 (честная монета): L(0.5 | данные) ~ 0.117 Это означает, что получить 7 орлов из 10 бросков честной монеты довольно маловероятно (~11.7%).

• Если p = 0.7: L(0.7 | данные) ~ 0.267 Правдоподобие значительно выше! Значение p=0.7 гораздо лучше объясняет наши данные.

• Если p = 0.9: L(0.9 | данные) ~ 0.057 Правдоподобие снова низкое, потому что при такой вероятности орла мы скорее получили бы 9 или 10 орлов, а не 7.

График функции правдоподобия L(p) для этого примера выглядел бы как колокол, пик которого приходится на p = 0.7.

Для чего нужна функция правдоподобия?

1. Метод максимального правдоподобия: Найти параметры θ, которые максимизируют L(θ | X). Эти параметры делают наблюдаемые данные наиболее вероятными.

2. Сравнение моделей: Сравнивать, какая из нескольких моделей лучше описывает данные. Модель с более высоким значением правдоподобия на тех же данных считается лучше.

3. Построение доверительных интервалов: Область параметров, для которых значение функции правдоподобия не слишком сильно отличается от максимального, задает правдоподобный диапазон значений параметров (например, с помощью отношения правдоподобий).

Итог

Функция правдоподобия L(θ | X) — это:

• Функция от параметров θ (данные X фиксированы).
• Мера согласия между параметрами модели и наблюдаемыми данными.
• Основа для метода максимального правдоподобия.
• Инструмент для сравнения моделей и оценки неопределенности.

Проще всего запомнить: Правдоподобие — это вероятность данных при заданных параметрах, но интерпретируемая как мера правдоподобия самих параметров.