Выборочная функция распределения

Выборочная (эмпири́ческая) фу́нкция распределе́ния в математической статистике — это приближение теоретической функции распределения, построенное с помощью выборки из него.

ОпределениеПравить

Пусть $X_1,\dots <!--\; \dots \; -->,X_n$$X_{1},\ldots ,X_{n}$  — выборка объёма $n$$n$ , порождённая случайной величиной $X$$X$ , задаваемой функцией распределения $F(x)$$F(x)$ . Будем считать, что $X_i$$X_{i}$ , где $i\in <!--\; \in \; -->\left\{1,n\right\},n\in <!--\; \in \; -->\mathbb{N}$$i\in \left\{1,n\right\},n\in \mathbb {N}$ , — независимые случайные величины, определённые на некотором пространстве элементарных исходов $\mathrm{\Omega <!--\; \Omega \; -->}$$\Omega$ . Пусть $x\in <!--\; \in \; -->\mathbb{R}$$x \in \mathbb{R}$ . Определим функцию $\stackrel{^<!--\; ^\; -->}{F}(x)$${\hat {F}}(x)$  следующим образом:

$\stackrel{^<!--\; ^\; -->}{F}(x)=\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{\mathbf{1}}_{\{X_i\le <!--\; \le \; -->x\}}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\mathrm{\theta <!--\; \theta \; -->}(x-<!--\; -\; -->X_i)$${\hat {F}}(x)={\frac {1}{n}}\sum \limits _{i=1}^{n}\mathbf {1} _{\{X_{i}\leq x\}}={\frac {1}{n}}\sum \limits _{i=1}^{n}\theta (x-X_{i})$ ,

где ${\mathbf{1}}_A$$\mathbf {1} _{A}$  — индикатор события $A$$A$ , $\mathrm{\theta <!--\; \theta \; -->}(x)$$\theta (x)$  — функция Хевисайда. Таким образом, значение функции $\stackrel{^<!--\; ^\; -->}{F}$${\hat {F}}$  в точке $x$$x$  равно относительной частоте элементов выборки, не превосходящих значение $x$$x$ . Функция $\stackrel{^<!--\; ^\; -->}{F}(x)$${\hat {F}}(x)$  называется выборочной функцией распределения случайной величины $X$$X$ , или эмпирической функцией выборки, и является аппроксимацией для функции $F(x)$$F(x)$ . Существует теорема Колмогорова, утверждающая, что при $n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}$$n\to \infty$  функция $\stackrel{^<!--\; ^\; -->}{F}(x)$${\hat {F}}(x)$  равномерно сходится к $F(x)$$F(x)$ , и указывающая скорость сходимости. Для каждого положительного $x$$x$ , $\stackrel{^<!--\; ^\; -->}{F}(x)$${\hat {F}}(x)$  — случайная величина со значением $\frac{k}{n},k\in <!--\; \in \; -->\left\{0,n\right\}$${\frac {k}{n}},k\in \left\{0,n\right\}$ .

Основные свойстваПравить

• Пусть зафиксирован элементарный исход $\mathrm{\omega <!--\; \omega \; -->}\in <!--\; \in \; -->\mathrm{\Omega <!--\; \Omega \; -->}$$\omega \in \Omega$ . Тогда $\stackrel{^<!--\; ^\; -->}{F}(x,\mathrm{\omega <!--\; \omega \; -->})$${\hat {F}}(x,\omega )$  является функцией распределения дискретного распределения, задаваемого следующей функцией вероятности:

$p_i=p(x_i)=\frac{N_{x_i}}{n},i=1,\dots <!--\; \dots \; -->,n$$p_{i}=p(x_{i})={\frac {N_{x_{i}}}{n}},\;i=1,\ldots ,n$ ,

где $x_i=X_i(\mathrm{\omega <!--\; \omega \; -->})$$x_{i}=X_{i}(\omega )$ , а $N_x=\underset{j=1}{\overset{n}{\sum <!--\; \sum \; -->}}{\mathbf{1}}_{\{x=x_j\}}$$N_{x}=\sum \limits _{j=1}^{n}\mathbf {1} _{\{x=x_{j}\}}$  — количество элементов выборки, равных $x$$x$ . В частности, если все элементы выборки различны, то $N_{x_i}=1,\mathrm{\forall <!--\; \forall \; -->}i$$N_{x_{i}}=1,\;\forall i$ .

Математическое ожидание этого распределения имеет вид:

$\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{x}_i{p}_i=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{x}_i\frac{N_{x_i}}{n}=\stackrel{¯<!--\; ¯\; -->}{X}(\mathrm{\omega <!--\; \omega \; -->})$$\sum \limits _{i=1}^{n}x_{i}p_{i}=\sum \limits _{i=1}^{n}x_{i}{\frac {N_{x_{i}}}{n}}={\overline {X}}(\omega )$ .

Таким образом, выборочное среднее — это теоретическое среднее выборочного распределения. Аналогично, выборочная дисперсия — это теоретическая дисперсия выборочного распределения.

• Случайная величина $n\stackrel{^<!--\; ^\; -->}{F}(x)$$n{\hat {F}}(x)$  имеет биномиальное распределение:

$n\stackrel{^<!--\; ^\; -->}{F}(x)\sim <!--\; \sim \; -->\mathrm{B}\mathrm{i}\mathrm{n}(n,F(x))$$n{\hat {F}}(x)\sim \mathrm {Bin} (n,F(x))$ .

• Выборочная функция распределения $\stackrel{^<!--\; ^\; -->}{F}(x)$${\hat {F}}(x)$  является несмещённой оценкой функции распределения $F(x)$$F(x)$ :

$\mathbb{E}\left[\stackrel{^<!--\; ^\; -->}{F}(x)\right]=F(x)$$\mathbb {E} \left[{\hat {F}}(x)\right]=F(x)$ .

• Дисперсия выборочной функции распределения имеет вид:

$\mathrm{D}\left[\stackrel{^<!--\; ^\; -->}{F}(x)\right]=\frac{F(x)(1-<!--\; -\; -->F(x))}{n}$$\mathrm {D} \left[{\hat {F}}(x)\right]={\frac {F(x)(1-F(x))}{n}}$ .

• Согласно усиленному закону больших чисел, выборочная функция распределения сходится почти наверное к теоретической функции распределения:

$\stackrel{^<!--\; ^\; -->}{F}(x)\to <!--\; \to \; -->F(x)$${\hat {F}}(x)\to F(x)$  почти наверное при $n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}$$n\to \infty$ .

• Выборочная функция распределения является асимптотически нормальной оценкой теоретической функции распределения. Если $0<F(x)<1,\;\forall x\in \mathbb {R}$ , то

$\sqrt{n}\left(\stackrel{^<!--\; ^\; -->}{F}(x)-<!--\; -\; -->F(x)\right)\to <!--\; \to \; -->\mathrm{N}\left(0,F(x)(1-<!--\; -\; -->F(x))\right)$${\sqrt {n}}\left({\hat {F}}(x)-F(x)\right)\to \mathrm {N} \left(0,F(x)(1-F(x))\right)$  по распределению при $n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}$$n\to \infty$ .

См. такжеПравить

• Гистограмма (статистика)
• Теорема Гливенко — Кантелли
• Теорема Колмогорова