Сходимость

Сходимость — это свойство процесса или последовательности приближаться к некоторому пределу (решению, значению, распределению) по мере увеличения числа шагов, объёма данных или числа итераций. В статистике, численных методах и теории вероятностей это центральное понятие: оно говорит, что алгоритм или оценка «работает» и при достаточных усилиях даёт всё более точный результат.

Ниже — основные смыслы, в которых слово «сходимость» встречается на практике.

---

1. Математическая сходимость последовательностей

Последовательность чисел $a_1,a_2,\dots$ сходится к числу $a$, если

$$\underset{n\to \infty }{\lim }{a}_n=a.$$

То есть для любого $\epsilon >0$ все члены, начиная с некоторого номера, отличаются от $a$ меньше чем на $\epsilon$.

Пример: $a_n=1/n$ сходится к $0$.

---

2. Сходимость в теории вероятностей

Здесь речь о последовательности случайных величин $X_n$. Есть несколько видов сходимости:

Вид	Обозначение	Смысл
По распределению	$X_n\stackrel{d}{\to }X$	Функции распределения сходятся
По вероятности	$X_n\stackrel{P}{\to }X$	$P(	X_n - X	> \varepsilon) \to 0$
Почти наверное	$X_n\stackrel{a.s.}{\to }X$	Сходимость при каждом исходе, кроме множества вероятности 0
В среднем квадратичном	$X_n\stackrel{L^2}{\to }X$	$\mathbb{E}[(X_n-X{)}^2]\to 0$

Именно на этих понятиях основаны закон больших чисел (среднее сходится к ожиданию) и центральная предельная теорема (распределение среднего сходится к нормальному). Метод Монте-Карло работает потому, что выборочное среднее сходится к истинному ожиданию.

---

3. Сходимость численных методов

Алгоритм сходится, если при увеличении числа итераций или шагов он приближается к точному решению.

• Итерационные методы (Ньютон, EM, градиентный спуск): последовательность приближений $x_k\to x^{\ast }$, где $x^{\ast }$ — решение.
• Численное интегрирование (квадратура, Монте-Карло): оценка интеграла сходится к истинному значению при росте числа узлов или выборок.
• Аппроксимация (разложение в ряд, конечные разности): ошибка стремится к нулю при уменьшении шага.

Скорость сходимости бывает:

• линейная: ошибка убывает как $O(1/n)$;
• квадратичная: $O(1/n^2)$;
• экспоненциальная и т.д.

---

4. Сходимость MCMC

В байесовском анализе и смешанных моделях часто используют MCMC (Markov Chain Monte Carlo). Цепь Маркова сходится, когда её распределение перестаёт зависеть от начальной точки и приближается к целевому апостериорному распределению (стационарному).

На практике проверяют:

• trace plots — графики значений параметров по итерациям;
• burn-in — отбрасывание начального периода до сходимости;
• $\hat{R}$ (Rhat) — сравнение дисперсий между несколькими цепями; значения около 1 говорят о сходимости;
• effective sample size (ESS) — сколько независимых выборок «эквивалентно» цепи;
• автокорреляция — насколько соседние итерации зависимы.

Если сходимости нет, выводы ненадёжны.

---

5. Сходимость в смешанных моделях

В LMM и GLMM параметры оцениваются итеративно (ML, REML, AGQ, MCMC). Программа может выдать сообщение:

• «Model converged» — алгоритм сошёлся, оценки получены.
• «Singular fit» — случайные эффекты слишком сложны, ковариационная матрица вырождена.
• «Model failed to converge» — итерации не сошлись: возможны проблемы со спецификацией, масштабом переменных, сложной структурой случайных эффектов.

Причины отсутствия сходимости:

• слишком много случайных эффектов при малом числе групп;
• сильная корреляция предикторов;
• плохое масштабирование переменных;
• неудачная оптимизация (нужно больше итераций, другой оптимизатор).

---

6. Сходимость в оптимизации

Алгоритм минимизации функции $f(x)$ сходится, если последовательность $x_k$ приближается к точке минимума $x^{\ast }$, а $f(x_k)\to f(x^{\ast })$. Проверяют по:

• изменению функции между итерациями;
• норме градиента;
• изменению параметров.

В lme4 можно настроить control = lmerControl(optimizer = "bobyqa", optCtrl = list(maxfun = 1e5)), чтобы увеличить число итераций.