IV (Information Value)

Information Value (IV) — «информационная ценность» — это метрика, которая показывает, насколько сильно признак разделяет два класса в бинарной задаче. Чаще всего используется в кредитном скоринге и риск-моделировании для отбора признаков. IV тесно связан с WOE и по сути агрегирует его по всем бинам признака.

Формула

Для бинарной целевой переменной, где Bad = 1 (событие: дефолт, отток, мошенничество), а Good = 0:

$$IV=\sum _{i=1}^n\left(DistGoo{d}_i-DistBa{d}_i\right)\cdot WO{E}_i$$

где для каждого бина $i$:

$$DistGoo{d}_i=\frac{Goo{d}_i}{Goo{d}_{total}},DistBa{d}_i=\frac{Ba{d}_i}{Ba{d}_{total}}$$ $$WO{E}_i=\ln \left(\frac{DistGoo{d}_i}{DistBa{d}_i}\right)$$

Итоговая формула:

$$IV=\sum _i\left(\frac{Goo{d}_i}{Goo{d}_{total}}-\frac{Ba{d}_i}{Ba{d}_{total}}\right)\cdot \ln \left(\frac{Goo{d}_i/Goo{d}_{total}}{Ba{d}_i/Ba{d}_{total}}\right)$$

IV всегда неотрицателен. Чем больше значение, тем сильнее признак связан с целевой переменной.

Как интерпретировать

Обычная шкала:

IV	Сила признака
< 0.02	бесполезный, можно удалить
0.02 – 0.1	слабый
0.1 – 0.3	средний
0.3 – 0.5	сильный
> 0.5	очень сильный, но часто подозрительный — возможна утечка

Значение > 0.5 не всегда хорошо: это может означать, что признак содержит информацию, которой не будет в момент предсказания (target leakage), или что бинов слишком много и модель переобучается.

Пример

Допустим, признак «возраст» разбит на 3 бина. Всего Good = 1000, Bad = 200.

Бин	Good	Bad	DistGood	DistBad	WOE	Вклад в IV
18–25	100	50	0.10	0.25	ln(0.10/0.25) = -0.92	(0.10-0.25)·(-0.92) = 0.138
26–40	400	100	0.40	0.50	ln(0.40/0.50) = -0.22	(0.40-0.50)·(-0.22) = 0.022
41–60	500	50	0.50	0.25	ln(0.50/0.25) = +0.69	(0.50-0.25)·0.69 = 0.173

$$IV=0.138+0.022+0.173=0.333$$

Вывод: признак «возраст» имеет сильную предсказательную силу.

Зачем нужен IV

1. Отбор признаков. Помогает быстро отсеять бесполезные и оставить сильные.
2. Интерпретируемость. Показывает, какие признаки важны для модели.
3. Основа для WOE-кодирования. IV считается по тем же бинам, что и WOE.
4. Скоринг и риск-модели. Стандарт в кредитном скоринге, где важна прозрачность.

Ограничения и предостережения

• Только бинарная целевая переменная. Для многоклассовых задач напрямую не подходит.
• Игнорирует корреляцию между признаками. Два сильных, но дублирующих признака получат высокий IV, хотя вместе ничего не добавят. Нужно проверять мультиколлинеарность.
• Чувствителен к биннингу. Слишком мелкие бины завышают IV и ведут к переобучению.
• Target leakage. IV использует целевую переменную. Если считать его на всех данных, включая validation/test, возникнет утечка. Считать только на train, внутри кросс-валидации или через пайплайн.
• Не заменяет кросс-валидацию. Высокий IV — не гарантия, что признак улучшит модель в продакшене.

Коротко: Information Value — это суммарная мера того, насколько признак помогает отделять «плохих» от «хороших». Он строится на WOE, легко интерпретируется по шкале и удобен для отбора признаков в скоринге. Но требует аккуратности: только train, контроль биннинга и проверка на утечки.