Метод максимального правдоподобия

Суть метода простыми словами

Представьте, что вы детектив, который пришел на место происшествия и нашел какие-то улики (данные). Вы знаете, что преступник мог быть одним из нескольких подозреваемых (возможные модели или параметры модели). Метод максимального правдоподобия — это способ определить, какой из подозреваемых с наибольшей вероятностью оставил именно эти улики.

Ключевая идея: Мы выбираем такую модель (такие параметры модели), при которой наблюдаемые нами данные были бы наиболее вероятными.

---

Более формальное определение

Метод максимального правдоподобия — это статистический метод для оценки параметров статистической модели. Он находит такие значения параметров, при которых функция правдоподобия достигает максимума.

Что такое функция правдоподобия?

• Правдоподобие (Likelihood) — это мера того, насколько хорошо модель с определенными параметрами объясняет наблюдаемые данные.
• Это не вероятность того, что модель верна. Это вероятность (или плотность вероятности) получить именно такие данные при условии, что модель верна.

Обозначим:

• $\theta$ (тета) — параметры нашей модели, которые мы хотим оценить (например, среднее значение и дисперсия в нормальном распределении).
• $X$ — данные, которые мы наблюдаем.
• $L(\theta |X)$ — функция правдоподобия. Она показывает, каково правдоподобие параметров $\theta$ при условии, что мы видим данные $X$.

Задача ММП: найти такие $\theta$, при которых $L(\theta |X)$ будет максимальной.

$\hat{\theta }=argmaxL(\theta |X)$

где $\hat{\theta }$ (“тета с крышкой”) — это оценка максимального правдоподобия.

---

Классический пример: Подбрасывание монеты

Допустим, мы подбросили монету 10 раз и получили 7 орлов и 3 решки. Мы не знаем, честная ли эта монета. Хотим оценить параметр $p$ — вероятность выпадения орла.

• Модель: Биномиальное распределение.
• Данные ($X$): 7 орлов из 10 попыток.
• Параметр для оценки: $p$ (вероятность орла).

Функция правдоподобия в этом случае — это вероятность увидеть 7 орлов при 10 бросках для разных значений $p$:

$L(p|данные)=P(7орловиз10|p)=C(10,7)\ast p^7\ast (1-p{)}^3$

(где $C(10,7)$ — биномиальный коэффициент, константа).

Наша цель — найти такое $p$, которое максимизирует это выражение.

Как найти максимум? Часто вместо самой функции правдоподобия максимизируют ее логарифм — логарифмическую функцию правдоподобия. Это математически проще, и максимум достигается при том же значении $p$.

1. Берем логарифм: $l(p)=log(L(p))=const+7\ast log(p)+3\ast log(1-p)$
2. Берем производную по $p$ и приравниваем к нулю, чтобы найти максимум: $dl/dp=7/p-3/(1-p)=0$
3. Решаем уравнение: $7/p=3/(1-p)=>7(1-p)=3p=>7-7p=3p=>7=10p=>p=0.7$

Результат: Оценка максимального правдоподобия для параметра $p$ равна 0.7.

Это интуитивно понятно: наилучшее объяснение для 7 орлов из 10 бросков — это то, что вероятность выпадения орла равна 0.7.

---

Как это работает на практике (алгоритм)

1. Выбрать модель: Определить вероятностное распределение, которое, как мы считаем, описывает наши данные (например, нормальное распределение, пуассоновское и т.д.).
2. Записать функцию правдоподобия: На основе данных и выбранной модели записать функцию, которая показывает, как правдоподобие параметров зависит от данных.
3. Взять логарифм: Преобразовать функцию в логарифмическую, чтобы упростить вычисления (произведения превращаются в суммы).
4. Найти максимум: С помощью математического анализа (взять производные) или численных методов (например, градиентный спуск) найти значения параметров, которые максимизируют логарифмическое правдоподобие.

---

Ключевые свойства и преимущества ММП

• Состоятельность (Consistency): С ростом объема данных оценка ММП стремится к истинному значению параметра.
• Асимптотическая нормальность (Asymptotic Normality): При больших объемах выборки распределение оценки ММП является нормальным, что удобно для построения доверительных интервалов.
• Инвариантность (Invariance): Если $\hat{\theta }$ — оценка ММП для $\theta$, то для любой функции $g(\theta )$ оценкой ММП будет $g(\hat{\theta })$. (Например, если мы оценили дисперсию ${\sigma }^2$, то оценкой ММП для стандартного отклонения $\sigma$ будет квадратный корень из оценки дисперсии).
• Эффективность (Efficiency): Среди всех состоятельных оценок оценки ММП имеют наименьшую возможную дисперсию (в асимптотическом смысле).

Недостатки ММП

• Может быть чувствителен к небольшим выборкам.
• Иногда может давать смещенные оценки (например, оценка дисперсии с помощью ММП будет смещенной).
• Вычислительная сложность: для сложных моделей нахождение максимума может быть нетривиальной численной задачей.

Области применения

ММП — один из краеугольных камней современной статистики и машинного обучения. Он используется повсеместно:

• Классическая статистика: Оценка параметров регрессионных моделей (например, логистическая регрессия).
• Машинное обучение: Обучение моделей, где оно часто эквивалентно минимизации функции потерь (например, в тех же линейных моделях).
• Эконометрика
• Биоинформатика
• Компьютерное зрение и многие другие области.

Резюме

Метод максимального правдоподобия — это способ найти “наиболее правдоподобные” параметры модели, исходя из того, что мы наблюдали в данных. Он отвечает на вопрос: “При каких значениях параметров наши наблюдаемые данные были бы наиболее вероятными?” Это мощный, интуитивный и математически обоснованный инструмент, лежащий в основе огромного количества статистических и машинных методов.