Сигмоида

Что такое сигмоида?

Сигмоида (от греч. “сигма” - название буквы Σ, и “эйдо́с” - вид, форма) — это математическая функция, имеющая характерную S-образную кривую.

В контексте машинного обучения и логистической регрессии, когда говорят “сигмоида”, почти всегда имеют в виду логистическую функцию.

Математическое определение: σ(z) = 1 / (1 + e^{-z})

Где:

• σ (сигма) — обозначение функции
• e — основание натурального логарифма (константа ~2.71828)
• z — входное число (может быть любым от -∞ до +∞)

---

Зачем она нужна в логистической регрессии?

Представьте себе основную проблему, которую решает сигмоида:

1. У нас есть линейная комбинация z = w₀ + w₁*x₁ + ...
2. Эта комбинация z может принимать любые числовые значения (от -∞ до +∞)
3. Но нам на выходе нужна ВЕРОЯТНОСТЬ, то есть число строго между 0 и 1

Сигмоида — это идеальный “преобразователь”, который берет любое число z и “сжимает” его в интервал от 0 до 1.

Ключевые свойства сигмоиды

1. Диапазон значений: от 0 до 1

   • Когда z → +∞, σ(z) → 1
   • Когда z → -∞, σ(z) → 0
   • Это делает ее идеальной для представления вероятности

2. S-образная форма

   • В центре (около z=0) функция имеет самый крутой наклон
   • По краям она пологая
   • Это означает, что небольшие изменения z в центре сильно влияют на вероятность, а на краях — почти не влияют

3. Значение в нуле равно 0.5

   • σ(0) = 1 / (1 + e⁰) = 1 / (1 + 1) = 0.5
   • Это естественная точка разделения для бинарной классификации

4. Гладкость и дифференцируемость

   • У функции есть простая производная: σ'(z) = σ(z) * (1 - σ(z))
   • Это критически важно для обучения модели с помощью градиентного спуска

Практическая интерпретация в логистической регрессии

В контексте нашей медицинской задачи:

• z — это “скор” (score), рассчитанный по данным пациента
• σ(z) — вероятность того, что у пациента диабет

Например:

• Если z = 2 → σ(2) ≈ 0.88 → 88% вероятность диабета
• Если z = -1 → σ(-1) ≈ 0.27 → 27% вероятность диабета
• Если z = 0 → σ(0) = 0.5 → 50% вероятность (неопределенность)

Резюме

Аспект	Описание
Что это	S-образная функция, преобразующая числа в интервал (0,1)
Математика	σ(z) = 1 / (1 + e^{-z})
Вход	Любое число от -∞ до +∞
Выход	Число между 0 и 1 (вероятность)
Главная роль	Ядро логистической регрессии - преобразует линейную комбинацию в вероятность

Сигмоида — это элегантное математическое решение, которое делает логистическую регрессию не только эффективной, но и интерпретируемой, поскольку мы всегда можем понять, насколько “уверена” модель в своем прогнозе.