Информационное неравенство (математическая статистика)

Информационное неравенство (математическая статистика) — неравенство для несмещённой оценки с локально минимальной дисперсией, задающее нижнюю границу для величины дисперсии этой оценки. Играет важную роль в теории асимптотически эффективных оценок.

ФормулировкаПравить

Обозначим $X$$X$  — данные наблюдений, $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  — оцениваемый на их основе параметр, $p(X,\mathrm{\theta <!--\; \theta \; -->})$$p(X,\theta )$  — условная плотность вероятности распределения, информацию Фишера как $I(\mathrm{\theta <!--\; \theta \; -->})=E{\left[\frac{\mathrm{\partial <!--\; \partial \; -->}}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}\ln <!--\; \; -->p(X,\mathrm{\theta <!--\; \theta \; -->})\right]}^2$$I(\theta )=E\left[{\frac {\partial }{\partial \theta }}\ln p(X,\theta )\right]^{2}$ . Пусть $I(\mathrm{\theta <!--\; \theta \; -->})>0$$I(\theta )>0$ , $\mathrm{\delta <!--\; \delta \; -->}$$\delta$  — любая статистика с $E_{\theta }(\delta ^{2})<\infty$ , для которой производная по $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  от математического ожидания $E_{\mathrm{\theta <!--\; \theta \; -->}}(\mathrm{\delta <!--\; \delta \; -->})=\int <!--\; \int \; -->\mathrm{\delta <!--\; \delta \; -->}{p}_{\mathrm{\theta <!--\; \theta \; -->}}d\mathrm{\mu <!--\; \mu \; -->}$$E_{\theta }(\delta )=\int \delta p_{\theta }d\mu$  существует и может быть получена дифференцированием под знаком интеграла. Тогда справедливо информационное неравенство: $D_{\mathrm{\theta <!--\; \theta \; -->}}(\mathrm{\delta <!--\; \delta \; -->})⩾<!--\; ⩾\; -->\frac{{\left[\frac{\mathrm{\partial <!--\; \partial \; -->}}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}{E}_{\mathrm{\theta <!--\; \theta \; -->}}(\mathrm{\delta <!--\; \delta \; -->})\right]}^2}{I(\mathrm{\theta <!--\; \theta \; -->})}$$D_{\theta }(\delta )\geqslant {\frac {\left[{\frac {\partial }{\partial \theta }}E_{\theta }(\delta )\right]^{2}}{I(\theta )}}$ .

ЛитератураПравить

• Леман Э. Теория точечного оценивания. — М.: Наука, 1991. — 448 с. — ISBN 5-02-013941-6.