MASE (Mean Absolute Scaled Error) — это одна из самых надежных и рекомендуемых метрик для оценки прогнозных моделей, особенно для временных рядов.
Что такое MASE?
MASE (Mean Absolute Scaled Error) — Средняя Абсолютная Масштабированная Ошибка. Это метрика, которая сравнивает ошибки вашей модели с ошибками простого “наивного” прогноза.
Ключевая идея
MASE отвечает на вопрос: “Во сколько раз моя модель лучше/хуже простейшего прогноза?”
Формула MASE
MASE = MAE_model / MAE_naive
Где:
- MAE_model — средняя абсолютная ошибка вашей модели
- MAE_naive — средняя абсолютная ошибка наивного прогноза
Детальная формула:
MASE = (1/n) × Σ |yᵢ - ŷᵢ| / [(1/(n-1)) × Σ |yᵢ - yᵢ₋₁|]
Для сезонных данных используется сезонный наивный прогноз: MASE = (1/n) × Σ |yᵢ - ŷᵢ| / [(1/(n-m)) × Σ |yᵢ - yᵢ₋ₘ|] где m — сезонность
Как рассчитывается MASE? Простой пример
Допустим, у нас ежемесячные продажи:
| Месяц | Факт (yᵢ) | Прогноз модели (ŷᵢ) | Наивный прогноз |
|---|---|---|---|
| 1 | 100 | - | - |
| 2 | 120 | 115 | 100 |
| 3 | 110 | 105 | 120 |
| 4 | 130 | 125 | 110 |
Шаг 1: Рассчитаем MAE модели
- |120-115| = 5
- |110-105| = 5
- |130-125| = 5
- MAE_model = (5+5+5)/3 = 5
Шаг 2: Рассчитаем MAE наивного прогноза
- |120-100| = 20
- |110-120| = 10
- |130-110| = 20
- MAE_naive = (20+10+20)/3 ≈ 16.67
Шаг 3: Рассчитаем MASE MASE = 5 / 16.67 ≈ 0.3
Интерпретация MASE
Значение MASE интерпретируется очень просто:
- MASE < 1: Модель лучше наивного прогноза
- MASE = 1: Модель такая же как наивный прогноз
- MASE > 1: Модель хуже наивного прогноза
В нашем примере MASE = 0.3, что означает: наша модель в 3 раза лучше наивного прогноза (поскольку 1/0.3 ≈ 3.3).
Преимущества MASE
- Универсальность: Работает с данными любого масштаба и единиц измерения
- Сравнимость: Позволяет сравнивать модели на совершенно разных наборах данных
- Устойчивость к выбросам: Менее чувствительна к выбросам, чем RMSE
- Нет проблем с нулями: В отличие от MAPE, отлично работает когда фактические значения равны 0
- Симметричность: Одинаково относится к завышению и занижению прогноза
- Интуитивная интерпретация: Понятно, во сколько раз модель лучше/хуже базового метода
Недостатки MASE
- Сложность объяснения: Менее интуитивна для бизнес-пользователей, чем MAPE
- Зависимость от базовой модели: Качество метрики зависит от выбора адекватного наивного прогноза
- Может быть нестабильной: При очень малых ошибках наивного прогноза MASE может становиться очень большой
Особенности использования
Для несезонных данных:
Используется наивный прогноз: “завтра = сегодня”
MAE_naive = среднее(|yᵢ - yᵢ₋₁|)
Для сезонных данных:
Используется сезонный наивный прогноз: “этот месяц = тот же месяц год назад”
MAE_naive = среднее(|yᵢ - yᵢ₋₁₂|) для месячных данных
Сравнение с другими метриками
| Метрика | Преимущества | Недостатки |
|---|---|---|
| MASE | Универсальная, сравнимая, нет проблем с нулями | Сложнее для объяснения |
| MAPE | Простая интерпретация в % | Проблемы с нулями, асимметричная |
| RMSE | Чувствительна к большим ошибкам | Зависит от масштаба данных |
| MAE | Простая и устойчивая | Не позволяет сравнивать разные наборы данных |
Практическое применение
Когда использовать MASE:
- При сравнении моделей на разных временных рядах
- Когда в данных есть нулевые значения
- Для профессиональной оценки моделей временных рядов
- Когда нужна универсальная сравнительная метрика
Примеры:
- Сравнение моделей прогноза продаж для разных товаров
- Оценка точности прогноза спроса на электроэнергию
- Сравнение методов прогнозирования в научных исследованиях
Резюме
MASE — это мощная и надежная метрика, которая стала стандартом в профессиональном прогнозировании. Она лишена многих недостатков MAPE и позволяет объективно сравнивать модели across different datasets.
Для бизнес-отчетности можно использовать обе метрики:
- MASE для технической оценки (“модель в 3 раза лучше базового прогноза”)
- MAPE для бизнес-презентации (“средняя ошибка 8%”)
MASE особенно рекомендуется для временных рядов и случаев, когда важна сравнимость результатов между разными наборами данных.