MAPE (Mean Absolute Percentage Error) — это Средняя Абсолютная Процентная Ошибка — одна из самых популярных метрик для оценки точности прогнозов, выраженная в процентах.
Что такое MAPE?
MAPE показывает, на сколько процентов в среднем отклоняются наши прогнозы от фактических значений. Это делает метрику очень удобной для интерпретации.
Формула MAPE
MAPE = (1/n) × Σ [ |(yᵢ - ŷᵢ)| / |yᵢ| ] × 100%
Где:
- yᵢ — фактическое значение
- ŷᵢ — предсказанное значение
- n — количество наблюдений
- | | — знак модуля (абсолютного значения)
Как рассчитывается MAPE? Простой пример
Допустим, мы прогнозируем продажи (в штуках):
| Фактические продажи (yᵢ) | Прогнозируемые продажи (ŷᵢ) | Расчет |
|---|---|---|
| 100 | 90 | (100-90) /100 = 10/100 = 0.10 |
| 200 | 220 | (200-220) /200 = 20/200 = 0.10 |
| 150 | 140 | (150-140) /150 = 10/150 ≈ 0.067 |
| 300 | 330 | (300-330) /300 = 30/300 = 0.10 |
Расчет MAPE:
- Суммируем все процентные ошибки: 0.10 + 0.10 + 0.067 + 0.10 = 0.367
- Делим на количество наблюдений: 0.367 / 4 = 0.09175
- Переводим в проценты: 0.09175 × 100% = 9.175%
Вывод: В среднем наши прогнозы отклоняются от фактических значений на 9.175%.
Преимущества MAPE
- Простая интерпретация: “Модель ошибается в среднем на X%” — понятно даже неспециалистам
- Масштабируемость: Можно сравнивать модели на разных наборах данных с разными единицами измерения
- Универсальность: Широко используется в бизнесе и промышленности
- Относительная метрика: Учитывает масштаб данных
Серьезные недостатки MAPE
1. Проблема с нулевыми значениями
Если какое-либо фактическое значение yᵢ = 0, возникает деление на ноль, и MAPE невозможно вычислить.
2. Асимметричность штрафов
MAPE по-разному наказывает за занижение и завышение прогноза:
- Занижение прогноза (ŷᵢ < yᵢ): Ошибка ограничена 100%
- Завышение прогноза (ŷᵢ > yᵢ): Ошибка может быть бесконечно большой
Пример:
- Фактическое значение: 100
- Прогноз: 50 → Ошибка: |100-50|/100 = 50%
- Прогноз: 150 → Ошибка: |100-150|/100 = 50%
Кажется симметрично? Но если:
- Фактическое: 50
- Прогноз: 0 → Ошибка: |50-0|/50 = 100%
- Прогноз: 100 → Ошибка: |50-100|/50 = 100%
3. Смещение в сторону занижения
Из-за асимметрии модели часто стремятся к занижению прогнозов, чтобы минимизировать MAPE.
4. Чувствительность к малым значениям
Одинаковые абсолютные ошибки дают разные процентные ошибки для больших и малых значений.
Практическое применение MAPE
Интерпретация значений MAPE:
| Уровень MAPE | Качество прогноза |
|---|---|
| < 10% | Отличное |
| 10% - 20% | Хорошее |
| 20% - 50% | Удовлетворительное |
| > 50% | Низкое |
Где используется:
- Прогнозирование спроса
- Финансовое прогнозирование
- Оценка моделей машинного обучения
- Бизнес-планирование
Альтернативы MAPE
Из-за недостатков MAPE были разработаны альтернативные метрики:
- sMAPE — симметричная версия MAPE
- MASE — масштабированная ошибка, более устойчивая
- WMAPE — взвешенная MAPE
- RMSE и MAE — для случаев, когда процентная ошибка не критична
Резюме
MAPE — полезная и интуитивно понятная метрика, но использовать ее нужно с осторожностью, понимая ее ограничения. Она отлично подходит для:
- Быстрой оценки моделей
- Общения с нетехнической аудиторией
- Сравнения моделей на данных без нулевых значений
Для серьезных исследований лучше дополнять MAPE другими метриками (MASE, sMAPE, RMSE) для получения более полной картины.