Data Science

Support Vector Machine

время чтения ~5 мин.

SVM (Support Vector Machine) — это мощный алгоритм машинного обучения, используемый в основном для задач классификации, но также и для регрессии. Его ключевая особенность — способность находить сложные нелинейные границы между классами, даже в высокоразмерных пространствах.

Основная идея на простом примере

Представьте, что у вас на столе лежат красные и синие шарики, и вам нужно провести между ними линию так, чтобы они оказались по разные стороны.

  • Обычный классификатор проведет любую линию, которая разделит шарики.
  • SVM проведет линию точно посередине, на максимально возможном расстоянии и от красных, и от синих шариков.

Эту линию называют “оптимальной разделяющей гиперплоскостью”, а самые близкие к ней шарики (которые “подпирают” границу) — “опорными векторами” (Support Vectors).

Ключевые концепции SVM

1. Разделяющая гиперплоскость (Decision Boundary)

  • В 2D-пространстве — это линия
  • В 3D-пространстве — это плоскость
  • В n-мерном пространстве — это гиперплоскость

2. Запас (Margin)

  • Это “буферная зона” или расстояние от разделяющей гиперплоскости до ближайших точек каждого класса.
  • Цель SVM — максимизировать этот зазор. Чем больше запас, тем более уверенно и надежно классификация.

3. Опорные векторы (Support Vectors)

  • Это те тренировочные примеры, которые находятся ближе всего к разделяющей гиперплоскости и “определяют” ее положение.
  • Важно: На итоговую модель влияют ТОЛЬКО опорные векторы. Остальные точки данных можно удалить, и граница не изменится.
  • Это делает SVM эффективным по памяти.

Как SVM работает с линейно разделимыми данными?

Для данных, которые можно четко разделить прямой линией (или гиперплоскостью), SVM находит границу с максимальным запасом.

     ○     ○
   ○    ○    ○
  ○   ○   ○    ○
------------------- ← Оптимальная разделяющая гиперплоскость
  □   □   □    □
   □    □    □
     □     □

Опорные векторы — это точки, которые “касаются” пунктирных линий, ограничивающих запас.

Что делать с нелинейно разделимыми данными? Kernel Trick

Вот где SVM становится по-настоящему мощным! Когда данные нельзя разделить прямой линией, SVM использует “kernel trick” (метод ядер).

Идея: Мы “поднимаем” данные в более высокоразмерное пространство, где они становятся линейно разделимыми.

Классический пример:

Представьте данные в форме двух концентрических кругов (красные внутри, синие снаружи). На плоскости их не разделить прямой. Но если мы добавим третье измерение (например, расстояние от центра), то в 3D-пространстве мы сможем разделить их плоскостью.

Популярные ядерные функции:

  • Линейное (Linear): Для линейно разделимых данных
  • Полиномиальное (Polynomial): Для полиномиальных границ
  • Радиальная базисная функция (RBF): Самый популярный выбор, создает сложные нелинейные границы
  • Сигмоидальное (Sigmoid): Похоже на нейронную сеть

Жесткие и мягкие границы (Hard vs Soft Margin)

Жесткий запас (Hard Margin)

  • Требует, чтобы ВСЕ точки были правильно классифицированы
  • Чрезвычайно чувствителен к выбросам
  • Может привести к переобучению

Мягкий запас (Soft Margin)

  • Позволяет некоторым точкам находиться на неправильной стороне границы или внутри запаса
  • Контролируется параметром C:
    • Малое C: Широкий запас, много ошибок допускается (недообучение)
    • Большое C: Узкий запас, мало ошибок допускается (риск переобучения)

Преимущества SVM

  1. Эффективен в высокоразмерных пространствах: Отлично работает, когда количество признаков больше количества образцов.
  2. Экономичное использование памяти: Использует только опорные векторы, а не весь датасет.
  3. Универсальность: Разные ядерные функции позволяют решать широкий спектр задач.
  4. Устойчивость к переобучению (при правильной настройке параметров).
  5. Хорошо работает с четкими границами классов.

Недостатки SVM

  1. Плохая интерпретируемость: Сложно понять, как именно принимается решение, особенно с нелинейными ядрами.
  2. Чувствительность к шуму: Выбросы могут сильно влиять на границу.
  3. Медленная работа на больших датасетах: Время обучения может быть O(n²) или O(n³).
  4. Требует тщательной настройки гиперпараметров (C, gamma для RBF).
  5. Не выдает вероятности по умолчанию (требуется дополнительная калибровка).

Практическое применение SVM

Типичные сценарии использования:

  • Классификация текстов (спам/не спам)
  • Распознавание изображений
  • Распознавание рукописного ввода
  • Биоинформатика (анализ генов)
  • Анализ рыночных тенденций

Реализация в Python (Scikit-learn)

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score
import matplotlib.pyplot as plt
import numpy as np
 
# Загружаем датасет iris
iris = datasets.load_iris()
X = iris.data[:, :2]  # Берем только первые два признака для визуализации
y = iris.target
 
# Разделяем на тренировочную и тестовую выборку
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
 
# Создаем и обучаем SVM модель с RBF ядром
svm_model = SVC(kernel='rbf', C=1.0, gamma='scale')
svm_model.fit(X_train, y_train)
 
# Делаем предсказания
y_pred = svm_model.predict(X_test)
 
# Оцениваем точность
accuracy = accuracy_score(y_test, y_pred)
print(f"Точность модели: {accuracy:.2f}")
 
# Визуализация (для 2D)
def plot_decision_boundary(X, y, model):
    h = 0.02  # step size
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                         np.arange(y_min, y_max, h))
    
    Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    
    plt.contourf(xx, yy, Z, alpha=0.8)
    plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k')
    plt.xlabel('Sepal length')
    plt.ylabel('Sepal width')
    plt.title('SVM Decision Boundary')
    plt.show()
 
plot_decision_boundary(X_train, y_train, svm_model)

Ключевые гиперпараметры для настройки

from sklearn.model_selection import GridSearchCV
 
# Подбор гиперпараметров
param_grid = {
    'C': [0.1, 1, 10, 100],
    'gamma': [1, 0.1, 0.01, 0.001],
    'kernel': ['rbf', 'linear', 'poly']
}
 
grid_search = GridSearchCV(SVC(), param_grid, refit=True, cv=5)
grid_search.fit(X_train, y_train)
 
print(f"Лучшие параметры: {grid_search.best_params_}")
print(f"Лучшая точность: {grid_search.best_score_:.2f}")

SVM для регрессии (SVR)

SVM можно адаптировать и для задач регрессии. Вместо максимизации запаса между классами, SVR (Support Vector Regression) пытается найти функцию, которая отклоняется от истинных значений не более чем на заданную величину ε, максимизируя при этом “плоскость” функции.

Краткий итог

  • SVM — это алгоритм для классификации и регрессии
  • Ключевая идея: Найти границу с максимальным запасом между классами
  • Опорные векторы — только эти точки влияют на итоговую модель
  • Kernel trick позволяет работать с нелинейными данными
  • Параметр C контролирует компромисс между точностью и обобщающей способностью
  • Сильные стороны: Эффективность в высокоразмерных пространствах, универсальность
  • Слабые стороны: Медленная работа на больших данных, плохая интерпретируемость

SVM остается одним из самых популярных и эффективных алгоритмов, особенно для задач со сложными нелинейными границами и в областях вроде компьютерного зрения и обработки текстов.

Вид графа