Информация Фишера

Информа́ция Фи́шера — математическое ожидание квадрата относительной скорости изменения условной плотности вероятности $p(x|\mathrm{\theta <!--\; \theta \; -->})$$p(x|\theta )$. Эта функция названа в честь описавшего её Рональда Фишера.

ОпределениеПравить

Пусть $f(\mathrm{\theta <!--\; \theta \; -->},x_1,\dots <!--\; \dots \; -->,x_n)$$f(\theta,\;x_1,\dots,\,x_n)$  — плотность распределения для данной статистической модели. Тогда если определена функция

$I_n(\mathrm{\theta <!--\; \theta \; -->})={\mathbb{E}}_{\mathrm{\theta <!--\; \theta \; -->}}{\left(\frac{\mathrm{\partial <!--\; \partial \; -->}L(\mathrm{\theta <!--\; \theta \; -->},x_1,\dots <!--\; \dots \; -->,x_n)}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}\right)}^2,L=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\ln <!--\; \; -->f(\mathrm{\theta <!--\; \theta \; -->},x_i)$$I_{n}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;x_{1},\dots ,\,x_{n})}{\partial \theta }}\right)^{2},\;L=\sum _{i=1}^{n}\ln f(\theta ,x_{i})$ ,

где $L(\mathrm{\theta <!--\; \theta \; -->},x_1,\dots <!--\; \dots \; -->,x_n)$$L(\theta,\;x_1,\dots,\,x_n)$  — логарифмическая функция правдоподобия, а ${\mathbb{E}}_{\mathrm{\theta <!--\; \theta \; -->}}$$\mathbb {E} _{\theta }$  — математическое ожидание по $x$$x$  при данном $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ , то она называется информацией Фишера для данной статистической модели при $n$$n$  независимых испытаниях.

Если $\ln <!--\; \; -->f(x;\mathrm{\theta <!--\; \theta \; -->})$$\ln f(x;\theta)$  дважды дифференцируем по $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ , и при определенных условиях регулярности, информацию Фишера можно переписать как

$I_n(\mathrm{\theta <!--\; \theta \; -->})={\mathbb{E}}_{\mathrm{\theta <!--\; \theta \; -->}}{\left(\frac{\mathrm{\partial <!--\; \partial \; -->}L(\mathrm{\theta <!--\; \theta \; -->},X)}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}\right)}^2=-<!--\; -\; -->{\mathbb{E}}_{\mathrm{\theta <!--\; \theta \; -->}}\left(\frac{{\mathrm{\partial <!--\; \partial \; -->}}^{2}L(\mathrm{\theta <!--\; \theta \; -->},X)}{\mathrm{\partial <!--\; \partial \; -->}{\mathrm{\theta <!--\; \theta \; -->}}^2}\right)$$I_n(\theta) = \mathbb{E}_\theta \left(\frac{\partial L(\theta,\;X)}{\partial \theta}\right)^2 = - \mathbb{E}_\theta \left(\frac{\partial^2 L(\theta,\;X)}{\partial \theta^2}\right)$ 

Для регулярных моделей: ${\mathbb{E}}_{\mathrm{\theta <!--\; \theta \; -->}}\left(\frac{\mathrm{\partial <!--\; \partial \; -->}L(\mathrm{\theta <!--\; \theta \; -->},x_1,\dots <!--\; \dots \; -->,x_n)}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}\right)=0$$\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;x_{1},\dots ,\,x_{n})}{\partial \theta }}\right)=0$  (В этом и состоит определение регулярности).

В этом случае, поскольку математическое ожидание функции вклада выборки равно нулю, выписанная величина равна её дисперсии.

Фишеровским количеством информации, содержащемся в одном наблюдении называют:

$I_i(\mathrm{\theta <!--\; \theta \; -->})={\mathbb{E}}_{\mathrm{\theta <!--\; \theta \; -->}}{\left(\frac{\mathrm{\partial <!--\; \partial \; -->}\ln <!--\; \; -->f(\mathrm{\theta <!--\; \theta \; -->},x_i)}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}\right)}^2$$I_{i}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,x_{i})}{\partial \theta }}\right)^{2}$ .

Для регулярных моделей все $I_i(\mathrm{\theta <!--\; \theta \; -->})$$I_{i}(\theta )$  равны между собой.

Если выборка состоит из одного элемента, то информация Фишера записывается так:

$I(\mathrm{\theta <!--\; \theta \; -->})={\mathbb{E}}_{\mathrm{\theta <!--\; \theta \; -->}}{\left(\frac{\mathrm{\partial <!--\; \partial \; -->}\ln <!--\; \; -->f(\mathrm{\theta <!--\; \theta \; -->},x)}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}\right)}^2$$I(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,x)}{\partial \theta }}\right)^{2}$ .

Из условия регулярности, а также из того, что в случае независимости случайных величин дисперсия суммы равна сумме дисперсий, следует, что для $n$$n$  независимых испытаний $I_n(\mathrm{\theta <!--\; \theta \; -->})=nI(\mathrm{\theta <!--\; \theta \; -->})$$I_{n}(\theta )=nI(\theta )$ .

СвойстваПравить

• Из указанного выше свойства дисперсий следует, что в случае независимости случайных величин ${\mathrm{\xi <!--\; \xi \; -->}}_1(\mathrm{\theta <!--\; \theta \; -->},x),\dots <!--\; \dots \; -->,{\mathrm{\xi <!--\; \xi \; -->}}_n(\mathrm{\theta <!--\; \theta \; -->},x)$$\xi _{1}(\theta ,\,x),\dots ,\,\xi _{n}(\theta ,\,x)$  (рассматриваемых в одной статистической модели) информация Фишера их суммы равна сумме информации Фишера каждой из них.

Сохранение информации достаточной статистикойПравить

В общем случае, если $T=t(X)$$T = t(X)$  — статистика выборки X, то

$I_T(\mathrm{\theta <!--\; \theta \; -->})\le <!--\; \le \; -->I_X(\mathrm{\theta <!--\; \theta \; -->})$$I_T(\theta)\leq I_X(\theta)$ 

Причем равенство достигается тогда и только тогда, когда T является достаточной статистикой.

Достаточная статистика содержит столько же информации Фишера, сколько и вся выборка X. Это может быть показано с помощью факторизационного критерия Неймана для достаточной статистики. Если статистика $T(X)$$T(X)$  достаточна для параметра $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ , то существуют функции g и h такие, что:

$f(X;\mathrm{\theta <!--\; \theta \; -->})=g(T(X),\mathrm{\theta <!--\; \theta \; -->})h(X)$$f(X;\theta )=g(T(X),\theta )h(X)$ 

Равенство информации следует из:

$\frac{\mathrm{\partial <!--\; \partial \; -->}}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}\ln <!--\; \; -->\left[f(X;\mathrm{\theta <!--\; \theta \; -->})\right]=\frac{\mathrm{\partial <!--\; \partial \; -->}}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}\ln <!--\; \; -->\left[g(T(X);\mathrm{\theta <!--\; \theta \; -->})\right]$$\frac{\partial}{\partial\theta} \ln \left[f(X ;\theta)\right] = \frac{\partial}{\partial\theta} \ln \left[g(T(X);\theta)\right]$ 

что следует из определения информации Фишера и независимости $h(X)$$h(X)$  от $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ .

См. такжеПравить

• Неравенство Крамера — Рао
• Информационное неравенство (математическая статистика)

Другие меры, используемые в теории информации:

• Информационная энтропия
• Расстояние Кульбака — Лейблера
• Собственная информация

ЛитератураПравить

• Леман Э. Теория точечного оценивания. — М.: Наука, 1991. — 448 с. — ISBN 5-02-013941-6.