Неравенство Крамера — Рао

Неравенство Краме́ра — Ра́о — неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.

Названо по именам шведского математика Харальда Крамера и индийского математика Кальямпуди Рао, но независимо от них устанавливалось также Фреше, Дармуа (фр. Georges Darmois), Айткеном (англ. Alexander Aitken) и Сильверстоуном (Harold Silverstone). Известно обобщение в квантовой теории оценивания — квантовое неравенство Крамера — Рао.

ФормулировкаПравить

Для статистической модели $(X,B,P_{\mathrm{\theta <!--\; \theta \; -->}})$$(X,\,B,\,P_{\theta })$ , $x=(x_1,\dots <!--\; \dots \; -->,x_n)$$x=(x_{1},\dots ,\,x_{n})$  — выборка размера $n$$n$ , — определена функция правдоподобия $L(\mathrm{\theta <!--\; \theta \; -->},x)=L(\mathrm{\theta <!--\; \theta \; -->},x_1,x_2,\dots <!--\; \dots \; -->x_n)$$L(\theta ,\,x)=L(\theta ,\;x_{1},\,x_{2},\dots \,x_{n})$  и выполнены следующие условия (условия регулярности):

• $L_{}^{}>0$$L_{}^{}>0$  и везде дифференцируема по ${\mathrm{\theta <!--\; \theta \; -->}}_{}^{}$$\theta _{}^{}$ ;
• функция $U(\mathrm{\theta <!--\; \theta \; -->},x)=\frac{\mathrm{\partial <!--\; \partial \; -->}\ln <!--\; \; -->L(\mathrm{\theta <!--\; \theta \; -->},x)}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}$$U(\theta ,\,x)={\frac {\partial \ln L(\theta ,\,x)}{\partial \theta }}$  (функция вклада выборки) имеет конечную дисперсию (или, что то же, конечна информация Фишера);
• для любой статистики $\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}(x)$${\widehat {\theta }}(x)$  с конечным вторым моментом имеет место равенство:

  $\frac{\mathrm{\partial <!--\; \partial \; -->}}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}\underset{X}{\int <!--\; \int \; -->}\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}(x)L(\mathrm{\theta <!--\; \theta \; -->},x)dx=\underset{X}{\int <!--\; \int \; -->}\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}(x)\frac{\mathrm{\partial <!--\; \partial \; -->}}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}L(\mathrm{\theta <!--\; \theta \; -->},x)dx$${\frac {\partial }{\partial \theta }}\int \limits _{X}{\widehat {\theta }}(x)\,L(\theta ,\,x)\,dx=\int \limits _{X}{\widehat {\theta }}(x)\,{\frac {\partial }{\partial \theta }}L(\theta ,\,x)\,dx$ .

Если при этих условиях дана статистика $\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}(x)$${\widehat {\theta }}(x)$ , которая несмещённо оценивает дифференцируемую функцию $\mathrm{\tau <!--\; \tau \; -->}(\mathrm{\theta <!--\; \theta \; -->})$$\tau (\theta )$ , то справедливо следующее неравенство:

${\mathrm{D}}_{\mathrm{\theta <!--\; \theta \; -->}}(\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}(x))⩾<!--\; ⩾\; -->\frac{({\mathrm{\tau <!--\; \tau \; -->}}^{\prime }(\mathrm{\theta <!--\; \theta \; -->}){)}^2}{nI(\mathrm{\theta <!--\; \theta \; -->})}$$\mathrm {D} _{\theta }{\big (}{\widehat {\theta }}(x){\big )}\geqslant {\frac {(\tau '(\theta ))^{2}}{nI(\theta )}}$ , где $I(\mathrm{\theta <!--\; \theta \; -->})=M{\left(\frac{d\ln <!--\; \; -->L(\mathrm{\theta <!--\; \theta \; -->},x)}{d\mathrm{\theta <!--\; \theta \; -->}}\right)}^2$$I(\theta )=M\left({\frac {d\ln L(\theta ,x)}{d\theta }}\right)^{2}$ ;

а равенство достигается тогда и только тогда, когда:

$\frac{d\ln <!--\; \; -->L(\mathrm{\theta <!--\; \theta \; -->},x)}{d\mathrm{\theta <!--\; \theta \; -->}}=a(\mathrm{\theta <!--\; \theta \; -->})(\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}(x)-<!--\; -\; -->\mathrm{\tau <!--\; \tau \; -->}(\mathrm{\theta <!--\; \theta \; -->}))$${\frac {d\ln L(\theta ,x)}{d\theta }}=a(\theta )({\widehat {\theta }}(x)-\tau (\theta ))$ .

Здесь $I^{}(\mathrm{\theta <!--\; \theta \; -->})$$I^{}(\theta )$  — количество информации по Фишеру в одном наблюдении, а $L(\mathrm{\theta <!--\; \theta \; -->},t)$$L(\theta ,t)$  — плотность распределения генеральной совокупности $X$$X$  в случае непрерывной статистической модели и вероятность события $(X=t)$$(X=t)$  в случае дискретной статистической модели.

Частный случайПравить

Часто используется следующий частный случай, также называемый неравенством Крамера — Рао: если выполнены условия регулярности, а $\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}(x)$${\widehat {\theta }}(x)$  — несмещённая оценка параметра $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ , то:

${\mathrm{D}}_{\mathrm{\theta <!--\; \theta \; -->}}\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}(x)⩾<!--\; ⩾\; -->\frac{1}{I_n(\mathrm{\theta <!--\; \theta \; -->})}$$\mathrm {D} _{\theta }\,{\widehat {\theta }}(x)\geqslant {\frac {1}{I_{n}(\theta )}}$ .

Равенство в этом неравенстве достигается тогда и только тогда, когда $\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}(x)-<!--\; -\; -->\mathrm{\theta <!--\; \theta \; -->}=a(\mathrm{\theta <!--\; \theta \; -->})U(\mathrm{\theta <!--\; \theta \; -->},x)$${\hat {\theta }}(x)-\theta =a(\theta )U(\theta ,x)$ .

ПрименениеПравить

Оценка параметра называется эффективной, если для неё неравенство Крамера — Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

ЛитератураПравить

• Математическая статистика, под ред. В. С. Зарубина, серия «Математика в техническом университете», вып. XVII, М., МГТУ, 2002