Log-odds (logit)

Log-odds (лог-оддс, логарифм шансов) — это логарифм отношения вероятности события к вероятности его отсутствия. В статистике и машинном обучении его также называют logit.

Определение

Если $p$ — вероятность события (например, что клиент уйдёт в дефолт), то:

odds = \frac{p}{1 - p}

log-odds = ln (\frac{p}{1 - p}) = logit (p)

Обычно используется натуральный логарифм. Основание логарифма меняет только масштаб, но в логистической регрессии стандартно берут $ln$ .

Диапазоны и интуиция

Вероятность $p$ лежит от 0 до 1.
Шансы $\frac{p}{1 - p}$ лежат от 0 до $+ \infty$ .
Log-odds лежат от $- \infty$ до $+ \infty$ .

Ключевые точки:

$p$	odds	log-odds
0.1	0.111	$- 2.197$
0.2	0.25	$- 1.386$
0.5	1	$0$
0.8	4	$1.386$
0.9	9	$2.197$

$p = 0.5$ → шансы 1:1 → log-odds = 0.
$p > 0.5$ → log-odds положительный.
$p < 0.5$ → log-odds отрицательный.
Шкала симметрична: $p = 0.8$ даёт $+ 1.386$ , $p = 0.2$ даёт $- 1.386$ .

Почему это удобно

Линейная шкала. Вероятность ограничена $[0, 1]$ , а log-odds — вся числовая прямая. Можно строить линейные модели.
Аддитивность. Шансы перемножаются, а их логарифмы складываются. Это удобно для статистики.
Интерпретация коэффициентов. В логистической регрессии коэффициенты показывают, на сколько меняется log-odds при изменении признака на единицу.
Связь с логистической регрессией. Модель предсказывает именно log-odds:

ln (\frac{p}{1 - p}) = β_{0} + β_{1} x_{1} + \dots + β_{n} x_{n}

Обратное преобразование:

p = \frac{1}{1 + e ^{- z}}, z = β_{0} + β_{1} x_{1} + \dots

Пример интерпретации коэффициента

Пусть $β_{1} = 0.7$ . Тогда увеличение $x_{1}$ на 1:

меняет log-odds на $+ 0.7$ ;
умножает шансы на $e^{0.7} \approx 2.01$ .

То есть шансы события roughly удваиваются. Вероятность при этом вырастет нелинейно — зависит от исходного уровня.

Связь с WOE

WOE — это, по сути, центрированный log-odds для бина.

Пусть целевая переменная бинарная: $B a d = 1$ , $G oo d = 0$ . Тогда log-odds того, что объект «плохой», внутри бина $i$ :

ln (\frac{B a d _{i}}{G oo d _{i}})

Один из вариантов WOE:

W O E_{i} = ln (\frac{G oo d _{i} / G oo d _{t o t a l}}{B a d _{i} / B a d _{t o t a l}})

Его можно переписать:

W O E_{i} = - ln (\frac{B a d _{i}}{G oo d _{i}}) + ln (\frac{B a d _{t o t a l}}{G oo d _{t o t a l}})

То есть WOE — это отрицательный log-odds «плохого» события в бине плюс константа (общий log-odds по выборке). Если использовать обратное отношение, получится ровно:

W O E_{i} = ln (\frac{B a d _{i} / B a d _{t o t a l}}{G oo d _{i} / G oo d _{t o t a l}}) = ln (\frac{B a d _{i}}{G oo d _{i}}) - ln (\frac{B a d _{t o t a l}}{G oo d _{t o t a l}})

Поэтому WOE-кодирование даёт признак, линейно связанный с log-odds целевой переменной. Это одна из причин, почему WOE так популярен в логистической регрессии и кредитном скоринге.

Коротко

Log-odds — это $ln (p / (1 - p))$ . Он превращает вероятность в удобную линейную шкалу от $- \infty$ до $+ \infty$ , лежит в основе логистической регрессии и тесно связан с WOE и IV. В кредитном скоринге через log-odds часто выражают и сам скор: чем выше log-odds «хорошего» клиента, тем больше баллов.

LDS