Центральная предельная теорема

Центра́льные преде́льные теоре́мы (ЦПТ) — класс теорем в теории вероятностей, утверждающих, что сумма достаточно большого количества слабо зависимых случайных величин, имеющих примерно одинаковые масштабы (ни одно из слагаемых не доминирует, не вносит в сумму определяющего вклада), имеет распределение, близкое к нормальному.

«Сглаживание» распределения суммированием. Показана функция плотности вероятности одной случайной величины, а также распределения суммы двух, трёх и четырёх случайных величин с такой же функцией распределения.

Какова бы ни была форма распределения генеральной совокупности, выборочное распределение стремится к нормальному, а его дисперсия задается центральной предельной теоремой.

Так как многие случайные величины в приложениях формируются под влиянием нескольких слабо зависимых случайных факторов, их распределение считают нормальным. При этом должно соблюдаться условие, что ни один из факторов не является доминирующим. Центральные предельные теоремы в этих случаях обосновывают применение нормального распределения.

Классическая ЦПТПравить

Пусть $X_1,\dots <!--\; \dots \; -->,X_n,\dots <!--\; \dots \; -->$$X_{1},\ldots ,X_{n},\ldots$  есть бесконечная последовательность независимых одинаково распределённых случайных величин, имеющих конечное математическое ожидание $\mathrm{\mu <!--\; \mu \; -->}$$\mu$  и дисперсию ${\mathrm{\sigma <!--\; \sigma \; -->}}^2$$\sigma ^{2}$ . Пусть также

$S_n=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{X}_i$$S_{n}=\sum \limits _{i=1}^{n}X_{i}$ .

Тогда

$\frac{S_n-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}n}{\mathrm{\sigma <!--\; \sigma \; -->}\sqrt{n}}\to <!--\; \to \; -->N(0,1)$${\frac {S_{n}-\mu n}{\sigma {\sqrt n}}}\to N(0,1)$  по распределению при $n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}$$n\to \infty$ ,

где $N(0,1)$$N(0,1)$  — нормальное распределение с нулевым математическим ожиданием и стандартным отклонением, равным единице. Определяя выборочное среднее первых $n$$n$  величин как

${\stackrel{¯<!--\; ¯\; -->}{X}}_n=\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{X}_i$${\bar {X}}_{n}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}$ ,

мы можем переписать результат центральной предельной теоремы в следующем виде:

$\sqrt{n}\frac{{\stackrel{¯<!--\; ¯\; -->}{X}}_n-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}}{\mathrm{\sigma <!--\; \sigma \; -->}}\to <!--\; \to \; -->N(0,1)$${\sqrt {n}}{\frac {{\bar {X}}_{n}-\mu }{\sigma }}\to N(0,1)$  по распределению при $n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}$$n\to \infty$ .

Скорость сходимости можно оценить с помощью неравенства Берри — Эссеена.

ЗамечанияПравить

• Неформально говоря, классическая центральная предельная теорема утверждает, что сумма $n$$n$  независимых одинаково распределённых случайных величин имеет распределение, близкое к $N(n\mathrm{\mu <!--\; \mu \; -->},n{\mathrm{\sigma <!--\; \sigma \; -->}}^2)$$N(n\mu ,n\sigma ^{2})$ . Эквивалентно, ${\stackrel{¯<!--\; ¯\; -->}{X}}_n$${\bar {X}}_{n}$  имеет распределение близкое к $N(\mathrm{\mu <!--\; \mu \; -->},{\mathrm{\sigma <!--\; \sigma \; -->}}^2/n)$$N(\mu ,\sigma ^{2}/n)$ .
• Так как функция распределения стандартного нормального распределения непрерывна, сходимость к этому распределению эквивалентна поточечной сходимости функций распределения к функции распределения стандартного нормального распределения. Положив $Z_n=\frac{S_n-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}n}{\mathrm{\sigma <!--\; \sigma \; -->}\sqrt{n}}$$Z_{n}={\frac {S_{n}-\mu n}{\sigma {\sqrt {n}}}}$ , получаем $F_{Z_n}(x)\to <!--\; \to \; -->\mathrm{\Phi <!--\; \Phi \; -->}(x),\mathrm{\forall <!--\; \forall \; -->}x\in <!--\; \in \; -->\mathbb{R}$$F_{{Z_{n}}}(x)\to \Phi (x),\;\forall x\in {\mathbb {R}}$ , где $\mathrm{\Phi <!--\; \Phi \; -->}(x)$$\Phi (x)$  — функция распределения стандартного нормального распределения.
• Центральная предельная теорема в классической формулировке доказывается методом характеристических функций (теорема Леви о непрерывности).
• Вообще говоря, из сходимости функций распределения не вытекает сходимость плотностей. Тем не менее в данном классическом случае это имеет место.

Локальная ЦПТПравить

В предположениях классической формулировки, допустим в дополнение, что распределение случайных величин $\{X_i{\}}_{i=1}^{\mathrm{\infty <!--\; \infty \; -->}}$$\{X_{i}\}_{{i=1}}^{{\infty }}$  абсолютно непрерывно, то есть оно имеет плотность. Тогда распределение $Z_n$$Z_{n}$  также абсолютно непрерывно, и более того,

$f_{Z_n}(x)\to <!--\; \to \; -->\frac{1}{\sqrt{2\mathrm{\pi <!--\; \pi \; -->}}}{e}^{-<!--\; -\; -->\frac{x^2}{2}}$$f_{{Z_{n}}}(x)\to {\frac {1}{{\sqrt {2\pi }}}}\,e^{{-{\frac {x^{2}}{2}}}}$  при $n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}$$n\to \infty$ ,

где $f_{Z_n}(x)$$f_{{Z_{n}}}(x)$  — плотность случайной величины $Z_n$$Z_{n}$ , а в правой части стоит плотность стандартного нормального распределения.

ОбобщенияПравить

Результат классической центральной предельной теоремы справедлив для ситуаций гораздо более общих, чем полная независимость и одинаковая распределённость.

ЦПТ ЛиндебергаПравить

Пусть независимые случайные величины $X_1,\dots <!--\; \dots \; -->,X_n,\dots <!--\; \dots \; -->$$X_{1},\ldots ,X_{n},\ldots$  определены на одном и том же вероятностном пространстве и имеют конечные математические ожидания и дисперсии: $\mathbb{E}[X_i]={\mathrm{\mu <!--\; \mu \; -->}}_i,\mathrm{D}[X_i]={\mathrm{\sigma <!--\; \sigma \; -->}}_i^2$${\mathbb {E}}[X_{i}]=\mu _{i},\;{\mathrm {D}}[X_{i}]=\sigma _{i}^{2}$ .

Пусть $S_n=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{X}_i$$S_{n}=\sum \limits _{i=1}^{n}X_{i}$ .

Тогда $\mathbb{E}[S_n]=m_n=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{\mathrm{\mu <!--\; \mu \; -->}}_i,\mathrm{D}[S_n]=s_n^2=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{\mathrm{\sigma <!--\; \sigma \; -->}}_i^2$${\mathbb {E}}[S_{n}]=m_{n}=\sum \limits _{{i=1}}^{n}\mu _{i},\;{\mathrm {D}}[S_{n}]=s_{n}^{2}=\sum \limits _{{i=1}}^{n}\sigma _{i}^{2}$ .

И пусть выполняется условие Линдеберга:

$\mathrm{\forall <!--\; \forall \; -->}\mathrm{\epsilon <!--\; \epsilon \; -->}>0,\underset{n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}}{lim}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\mathbb{E}\left[\frac{(X_i-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_i{)}^2}{s_n^2}{\mathbf{1}}_{\{|X_i-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_i|>\mathrm{\epsilon <!--\; \epsilon \; -->}{s}_n\}}\right]=0,$$\forall \varepsilon >0,\;\lim \limits _{{n\to \infty }}\sum \limits _{{i=1}}^{n}{\mathbb {E}}\left[{\frac {(X_{i}-\mu _{i})^{2}}{s_{n}^{2}}}\,{\mathbf {1}}_{{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}}\right]=0,$ 

где ${\mathbf{1}}_{\{|X_i-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_i|>\mathrm{\epsilon <!--\; \epsilon \; -->}{s}_n\}}$${\mathbf {1}}_{{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}}$  функция — индикатор.

Тогда

$\frac{S_n-<!--\; -\; -->m_n}{s_n}\to <!--\; \to \; -->N(0,1)$${\frac {S_{n}-m_{n}}{s_{n}}}\to N(0,1)$  по распределению при $n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}$$n\to \infty$ .

ЦПТ ЛяпуноваПравить

Пусть выполнены базовые предположения ЦПТ Линдеберга. Пусть случайные величины $\{X_i\}$$\{X_{i}\}$  имеют конечный третий момент. Тогда определена последовательность

$r_n^3=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\mathbb{E}\left[|X_i-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_i{|}^3\right]$$r_{n}^{3}=\sum _{{i=1}}^{n}{\mathbb {E}}\left[|X_{i}-\mu _{i}|^{3}\right]$ .

Если предел

$\underset{n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}}{lim}\frac{r_n}{s_n}=0$$\lim \limits _{{n\to \infty }}{\frac {r_{n}}{s_{n}}}=0$  (условие Ляпунова),

то

$\frac{S_n-<!--\; -\; -->m_n}{s_n}\to <!--\; \to \; -->N(0,1)$${\frac {S_{n}-m_{n}}{s_{n}}}\to N(0,1)$  по распределению при $n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}$$n\to \infty$ .

ЦПТ для мартингаловПравить

Пусть процесс $(X_n{)}_{n\in <!--\; \in \; -->\mathbb{N}}$$(X_{n})_{{n\in {\mathbb {N}}}}$  является мартингалом с ограниченными приращениями. В частности, допустим, что

$\mathbb{E}\left[X_{n+1}-<!--\; -\; -->X_n\mid <!--\; \mid \; -->X_1,\dots <!--\; \dots \; -->,X_n\right]=0,n\in <!--\; \in \; -->\mathbb{N},X_0\equiv <!--\; \equiv \; -->0,$${\mathbb {E}}\left[X_{{n+1}}-X_{n}\mid X_{1},\ldots ,X_{n}\right]=0,\;n\in {\mathbb {N}},\;X_{0}\equiv 0,$ 

и приращения равномерно ограничены, то есть

$\mathrm{\exists <!--\; \exists \; -->}C>0\mathrm{\forall <!--\; \forall \; -->}n\in <!--\; \in \; -->\mathbb{N}|X_{n+1}-<!--\; -\; -->X_n|\le <!--\; \le \; -->C$$\exists C>0\,\forall n\in {\mathbb {N}}\;|X_{{n+1}}-X_{n}|\leq C$  п.н.

Введём случайные процессы ${\mathrm{\sigma <!--\; \sigma \; -->}}_n^2$$\sigma _{n}^{2}$  и ${\mathrm{\tau <!--\; \tau \; -->}}_n$$\tau_n$  следующим образом:

${\mathrm{\sigma <!--\; \sigma \; -->}}_n^2=\mathbb{E}\left[(X_{n+1}-<!--\; -\; -->X_n{)}^2\mid <!--\; \mid \; -->X_1,\dots <!--\; \dots \; -->,X_n\right]$$\sigma _{n}^{2}={\mathbb {E}}\left[(X_{{n+1}}-X_{n})^{2}\mid X_{1},\ldots ,X_{n}\right]$ 

и

${\mathrm{\tau <!--\; \tau \; -->}}_n=min\left\{k|\underset{i=1}{\overset{k}{\sum <!--\; \sum \; -->}}{\mathrm{\sigma <!--\; \sigma \; -->}}_i^2\ge <!--\; \ge \; -->n\right\}$$\tau _{n}=\min \left\{k\left\vert \;\sum _{{i=1}}^{k}\sigma _{i}^{2}\geq n\right.\right\}$ .

Тогда

$\frac{X_{{\mathrm{\tau <!--\; \tau \; -->}}_n}}{\sqrt{n}}\to <!--\; \to \; -->N(0,1)$${\frac {X_{{\tau _{n}}}}{{\sqrt {n}}}}\to N(0,1)$  по распределению при $n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}$$n\to \infty$ .

ЦПТ для случайных векторовПравить

Пусть $\stackrel{\to <!--\; \to \; -->}{X_1},\dots <!--\; \dots \; -->,\stackrel{\to <!--\; \to \; -->}{X_n},\dots <!--\; \dots \; -->$${\vec {X_{1}}},\ldots ,{\vec {X_{n}}},\ldots$  последовательность независимых и одинаково распределённых случайных векторов, каждый из которых имеет среднее $E\stackrel{\to <!--\; \to \; -->}{X_1}=\stackrel{\to <!--\; \to \; -->}{a}$$E{\vec {X_{1}}}={\vec {a}}$  и невырожденную матрицу ковариаций $\mathrm{\Sigma <!--\; \Sigma \; -->}$$\Sigma$ . Обозначим через $S_n=\stackrel{\to <!--\; \to \; -->}{X_1}+\dots <!--\; \dots \; -->+\stackrel{\to <!--\; \to \; -->}{X_n}$$S_{n}={\vec {X_{1}}}+\ldots +{\vec {X_{n}}}$  вектор частичных сумм. Тогда при $n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}$$n\to \infty$  имеет место слабая сходимость распределений векторов

$\stackrel{\to <!--\; \to \; -->}{{\mathrm{\eta <!--\; \eta \; -->}}_n}=\frac{S_n-<!--\; -\; -->na}{\sqrt{n}}\stackrel{weak}{\to }\stackrel{\to <!--\; \to \; -->}{\mathrm{\eta <!--\; \eta \; -->}}$${\vec {\eta _{n}}}={\frac {S_{n}-na}{\sqrt {n}}}\xrightarrow {weak} {\vec {\eta }}$ , где $\stackrel{\to <!--\; \to \; -->}{\mathrm{\eta <!--\; \eta \; -->}}$${\vec {\eta }}$  имеет распределение $N(\stackrel{\to <!--\; \to \; -->}{0},\mathrm{\Sigma <!--\; \Sigma \; -->})$$N({{\vec {0}},\Sigma })$ .

См. такжеПравить

• Закон больших чисел
• Закон повторного логарифма

СсылкиПравить

• Предельные теоремы теории вероятностей. Примеры использования