Population Stability Index (PSI) — это статистическая метрика, которая измеряет, насколько изменилось распределение некоторой переменной (например, баллов кредитного скоринга, возраста клиентов) в текущей выборке по сравнению с базовым (референсным) распределением.
Проще говоря, PSI отвечает на вопрос: “Насколько сильно сместилась наша популяция (выборка) во времени или пространстве относительно исходного состояния?”
Ключевые аспекты PSI
1. Основная цель
PSI используется для мониторинга стабильности популяции. Он помогает обнаружить:
- Дрейф данных (Data Drift): Когда распределение входных характеристик клиентов со временем меняется.
- Сдвиг в поведении населения: Когда меняется профиль пользователей/клиентов.
- Проблемы репрезентативности: Когда новая выборка существенно отличается от исходной, на которой была построена модель.
2. Области применения
- Кредитный скоринг и риск-менеджмент (исторически основная область)
- Мониторинг ML-моделей после их развертывания
- A/B тестирование (сравнение распределений между контрольной и тестовой группами)
- Контроль качества данных в аналитике
3. Как рассчитывается PSI
Расчет происходит в несколько шагов:
Шаг 1: Определение биннов (интервалов)
- Исходное (базовое) распределение и текущее распределение разбиваются на одинаковые интервалы (бины).
- Пример для кредитного скора: 0-500, 501-600, 601-700, 701-800, 801-850, 851-1000.
Шаг 2: Расчет процентов
- Для каждого бина рассчитывается доля наблюдений (в процентах) от общего количества.
%_base_i— доля в i-м бине базового распределения.%_current_i— доля в i-м бине текущего распределения.
Шаг 3: Расчет компонента для каждого бина
- Для каждого бина вычисляется составляющая:
(%_current_i - %_base_i) * ln(%_current_i / %_base_i)
Шаг 4: Суммирование
- PSI является суммой этих компонентов по всем бинам: PSI = Σ [ (%_current_i - %_base_i) * ln(%_current_i / %_base_i) ]
Интерпретация значений PSI
Общепринятые пороговые значения PSI:
| Значение PSI | Интерпретация | Рекомендуемые действия |
|---|---|---|
| < 0.1 | Отличная стабильность | Значимых изменений нет. Никаких действий не требуется. |
| 0.1 – 0.25 | Умеренный дрейф (некоторое смещение) | Рекомендуется внимательно следить за ситуацией. Возможно, стоит проанализировать причины изменений. |
| > 0.25 | Сильный дрейф (критическое смещение) | Требуются немедленные действия! Модель или процесс, основанный на исходном распределении,很可能 невалиден для текущих данных. |
Практический пример
Представьте, что у банка есть скоринговая модель, обученная на данных за 2022 год (базовое распределение). В 2024 году они хотят проверить, не изменилась ли популяция заемщиков.
-
Базовое распределение (2022):
- Бин 300-500: 10% заемщиков
- Бин 501-700: 50% заемщиков
- Бин 701-850: 40% заемщиков
-
Текущее распределение (2024):
- Бин 300-500: 5% заемщиков (уменьшилось)
- Бин 501-700: 40% заемщиков (уменьшилось)
- Бин 701-850: 55% заемщиков (увеличилось)
-
Расчет PSI:
- Рассчитываем компонент для каждого бина и суммируем.
- Допустим, итоговый PSI = 0.15.
-
Вывод: Наблюдается умеренный дрейф (0.1 < 0.15 < 0.25). Распределение кредитных scores изменилось. Количество людей с высокими скорами увеличилось. Банку стоит проанализировать причины (например, смягчение кредитной политики, изменение экономической ситуации) и подумать о переобучении модели.
Связь с репрезентативностью
PSI — это мощный количественный инструмент для оценки одного из аспектов репрезентативности.
- Если вы сравниваете текущую выборку с исходной репрезентативной выборкой (базой), и PSI мал (< 0.1), это говорит о том, что текущая выборка, скорее всего, осталась репрезентативной по отношению к исходной популяции.
- Высокий PSI — это красный флаг, сигнализирующий о том, что выборка перестала быть репрезентативной по измеряемому признаку. Выводы, сделанные на основе исходных данных, могут быть неверными для текущих данных.
Кратко: PSI — это “термометр” для измерения стабильности и репрезентативности распределения ключевых переменных во времени.