Несмещённая оценка

Несмещённая оце́нка в математической статистике — это точечная оценка, математическое ожидание которой равно оцениваемому параметру.

ОпределениеПравить

Пусть $\stackrel{\to <!--\; \to \; -->}{x}=\left(x_1,\dots <!--\; \dots \; -->,x_n\right)$${\vec {x}}=\left(x_{1},\ldots ,x_{n}\right)$  — выборка из распределения, зависящего от параметра $\mathrm{\theta <!--\; \theta \; -->}\in <!--\; \in \; -->\mathrm{\Theta <!--\; \Theta \; -->}$$\theta \in \Theta$ . Тогда оценка $\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}\equiv <!--\; \equiv \; -->\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}\left(\stackrel{\to <!--\; \to \; -->}{x}\right)$${\hat {\theta }}\equiv {\hat {\theta }}\left({\vec {x}}\right)$  называется несмещённой, если

$\mathbb{E}\left[\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}\right]=\mathrm{\theta <!--\; \theta \; -->},\mathrm{\forall <!--\; \forall \; -->}\mathrm{\theta <!--\; \theta \; -->}\in <!--\; \in \; -->\mathrm{\Theta <!--\; \Theta \; -->}$${\mathbb {E}}\left[{\hat {\theta }}\right]=\theta ,\quad \forall \theta \in \Theta$ ,

где

• $\mathbb{E}\left[X\right]$$\mathbb {E} \left[X\right]$  — математическое ожидание;
• $\mathrm{\forall <!--\; \forall \; -->}$$\forall$  — квантор всеобщности.

В противном случае оценка называется смещённой, и случайная величина $\mathbb{E}\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}-<!--\; -\; -->\mathrm{\theta <!--\; \theta \; -->}$$\mathbb {E} {\hat {\theta }}-\theta$  называется её смеще́нием.

ПримерыПравить

• Выборочное среднее $\stackrel{¯<!--\; ¯\; -->}{X}=\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{X}_i$${\bar {X}}={\frac {1}{n}}\sum \limits _{{i=1}}^{n}X_{i}$  является несмещённой оценкой математического ожидания $X_i$$X_{i}$ , так как если $\mathbb {E} X_{i}=\mu <\infty$ , $\mathrm{\forall <!--\; \forall \; -->}i\in <!--\; \in \; -->\mathbb{N}$$\forall i\in \mathbb {N}$ , то $\mathbb{E}\stackrel{¯<!--\; ¯\; -->}{X}=\mathrm{\mu <!--\; \mu \; -->}$${\mathbb {E}}{\bar {X}}=\mu$ .

• Пусть независимые случайные величины $X_i$$X_{i}$  имеют конечную дисперсию $\mathrm{D}{X}_i={\mathrm{\sigma <!--\; \sigma \; -->}}^2$${\mathrm {D}}X_{i}=\sigma ^{2}$ . Построим оценки

$S_n^2=\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{\left(X_i-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{X}\right)}^2$$S_{n}^{2}={\frac {1}{n}}\sum \limits _{{i=1}}^{n}\left(X_{i}-{\bar {X}}\right)^{2}$  — выборочная дисперсия,

и

$S^2=\frac{1}{n-<!--\; -\; -->1}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{\left(X_i-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{X}\right)}^2$$S^{2}={\frac {1}{n-1}}\sum \limits _{{i=1}}^{n}\left(X_{i}-{\bar {X}}\right)^{2}$  — исправленная выборочная дисперсия.

Тогда $S_n^2$$S_{n}^{2}$  является смещённой, а $S^2$$S^{2}$  несмещённой оценками параметра ${\mathrm{\sigma <!--\; \sigma \; -->}}^2$$\sigma ^{2}$ . Смещённость $S_n^2$$S_{n}^{2}$  можно доказать следующим образом.

Пусть $\mathrm{\mu <!--\; \mu \; -->}$$\mu$  и $\stackrel{¯<!--\; ¯\; -->}{X}$$\overline {X}$  — среднее и его оценка соответственно, тогда:

$\mathrm{E}<!--\; \; -->[S_n^2]=\mathrm{E}<!--\; \; -->[\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}(X_i-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{X}{)}^2].$$\operatorname {E} [S_{n}^{2}]=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}{\bigg ]}.$ 

Добавив и отняв $\mathrm{\mu <!--\; \mu \; -->}$$\mu$ , а затем сгрупировав слагаемые, получим:

$\mathrm{E}<!--\; \; -->[S_n^2]=\mathrm{E}<!--\; \; -->[\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}((X_i-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})-<!--\; -\; -->(\stackrel{¯<!--\; ¯\; -->}{X}-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}){)}^2].$$\operatorname {E} [S_{n}^{2}]=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}{\big (}(X_{i}-\mu )-({\overline {X}}-\mu ){\big )}^{2}{\bigg ]}.$ 

Возведём в квадрат и получим:

$\mathrm{E}<!--\; \; -->[S_n^2]=\mathrm{E}<!--\; \; -->[\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}(X_i-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^2-<!--\; -\; -->2(\stackrel{¯<!--\; ¯\; -->}{X}-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}(X_i-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})+\frac{n}{n}(\stackrel{¯<!--\; ¯\; -->}{X}-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^2].$$\operatorname {E} [S_{n}^{2}]=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-2({\overline {X}}-\mu ){\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )+{\frac {n}{n}}({\overline {X}}-\mu )^{2}{\bigg ]}.$ 

Заметив, что $\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}(X_i-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})=\stackrel{¯<!--\; ¯\; -->}{X}-<!--\; -\; -->\frac{1}{n}(n\mathrm{\mu <!--\; \mu \; -->})$${\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )={\overline {X}}-{\frac {1}{n}}(n\mu )$ , получим:

$\mathrm{E}<!--\; \; -->[S_n^2]=\mathrm{E}<!--\; \; -->[\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}(X_i-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^2-<!--\; -\; -->(\stackrel{¯<!--\; ¯\; -->}{X}-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^2].$$\operatorname {E} [S_{n}^{2}]=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-({\overline {X}}-\mu )^{2}{\bigg ]}.$ 

Учитывая, что

• $\mathrm{E}<!--\; \; -->[a+b]=\mathrm{E}<!--\; \; -->[a]+\mathrm{E}<!--\; \; -->[b]$$\operatorname {E} [a+b]=\operatorname {E} [a]+\operatorname {E} [b]$  (свойство математического ожидания);
• $\mathrm{E}<!--\; \; -->[\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}(X_i-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^2]={\mathrm{\sigma <!--\; \sigma \; -->}}^2$$\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}=\sigma ^{2}$  — дисперсия;
• $\mathrm{E}<!--\; \; -->[(\stackrel{¯<!--\; ¯\; -->}{X}-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^2]=\frac{1}{n}{\mathrm{\sigma <!--\; \sigma \; -->}}^2$$\operatorname {E} {\big [}({\overline {X}}-\mu )^{2}{\big ]}={\frac {1}{n}}\sigma ^{2}$ , т.к. $\operatorname {E} {\big [}({\overline {X}}-\mu )^{2}{\big ]}=\operatorname {E} {\big [}{\big (}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu ){\big )}^{2}{\big ]}=\operatorname {E} {\big [}{\frac {1}{n^{2}}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}+{\frac {2}{n^{2}}}\sum _{i=1,j=1,i<j}^{n}(X_{i}-\mu )(X_{j}-\mu ){\big ]}$ , учитывая, что $X_i$$X_{i}$  и $X_j$$X_{j}$  независимые и $\mathrm{E}<!--\; \; -->[(X_i-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})]=0$$\operatorname {E} {\big [}(X_{i}-\mu ){\big ]}=0$ , т.е. $\operatorname {E} {\big [}\sum _{i=1,j=1,i<j}^{n}(X_{i}-\mu )(X_{j}-\mu ){\big ]}=\sum _{i=1,j=1,i<j}^{n}\operatorname {E} {\big [}(X_{i}-\mu ){\big ]}\operatorname {E} {\big [}(X_{j}-\mu ){\big ]}=0$ ,

получим:

${\begin{aligned}\operatorname {E} [S_{n}^{2}]&=\sigma ^{2}-\operatorname {E} {\big [}({\overline {X}}-\mu )^{2}{\big ]}=\\&=\sigma ^{2}-{\frac {1}{n}}\sigma ^{2}=\\&={\frac {n-1}{n}}\sigma ^{2}<\sigma ^{2}.\end{aligned}}$ 

Литература и некоторые ссылкиПравить

• M. G. Kendall. "The advanced theory of statistics (vol. I). Distribution theory (2nd edition)". Charles Griffin & Company Limited, 1945.
• M. G. Kendall and A. Stuart. "The advanced theory of statistics (vol. II). Inference and relationship (2nd edition)". Charles Griffin & Company Limited, 1967.
• A. Papoulis. Probability, random variables, and stochastic processes (3rd edition). McGrow-Hill Inc., 1991.
• G. Saporta. "Probabilités, analyse des données et statistiques". Éditions Technip, Paris, 1990.
• J. F. Kenney and E. S. Keeping. Mathematics of Statistics. Part I & II. D. Van Nostrand Company, Inc., 1961, 1959.
• I. V. Blagouchine and E. Moreau: "Unbiased Adaptive Estimations of the Fourth-Order Cumulant for Real Random Zero-Mean Signal", IEEE Transactions on Signal Processing, vol. 57, no. 9, pp. 3330–3346, September 2009.
• An Illuminating Counterexample