Метод максимального правдоподобия

Ме́тод максима́льного правдоподо́бия или метод наибольшего правдоподобия (ММП, ML, MLE — англ. maximum likelihood estimation) в математической статистике — это метод оценивания неизвестного параметра путём максимизации функции правдоподобия. Основан на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия.

Метод максимального правдоподобия был проанализирован, рекомендован и значительно популяризирован Р. Фишером между 1912 и 1922 годами (хотя ранее он был использован Гауссом, Лапласом и другими).

Оценка максимального правдоподобия является популярным статистическим методом, который используется для создания статистической модели на основе данных и обеспечения оценки параметров модели.

Метод максимального правдоподобия соответствует многим известным методам оценки в области статистики. Например, вы интересуетесь таким антропометрическим параметром, как рост жителей России. Предположим, у вас имеются данные о росте некоторого количества людей, а не всего населения. Кроме того, предполагается, что рост является нормально распределённой величиной с неизвестной дисперсией и средним значением. Среднее значение и дисперсия роста в выборке являются максимально правдоподобными к среднему значению и дисперсии всего населения.

Для фиксированного набора данных и базовой вероятностной модели, используя метод максимального правдоподобия, мы получим значения параметров модели, которые делают данные «более близкими» к реальным. Оценка максимального правдоподобия даёт уникальный и простой способ определить решения в случае нормального распределения.

Метод оценки максимального правдоподобия применяется для широкого круга статистических моделей, в том числе:

• линейные модели и обобщённые линейные модели;
• факторный анализ;
• моделирование структурных уравнений;
• многие ситуации, в рамках проверки гипотезы и доверительного интервала формирования;
• дискретные модели выбора.

Сущность методаПравить

Пусть есть выборка $X_1,\dots <!--\; \dots \; -->,X_n$$X_{1},\ldots ,X_{n}$  из распределения ${\mathbb{P}}_{\mathrm{\theta <!--\; \theta \; -->}}$$\mathbb {P} _{\theta }$ , где $\mathrm{\theta <!--\; \theta \; -->}\in <!--\; \in \; -->\mathrm{\Theta <!--\; \Theta \; -->}$$\theta \in \Theta$  — неизвестные параметры. Пусть $L(\mathbf{x}\mid <!--\; \mid \; -->\mathrm{\theta <!--\; \theta \; -->}):<!--\; :\; -->\mathrm{\Theta <!--\; \Theta \; -->}\to <!--\; \to \; -->\mathbb{R}$$L({\mathbf {x}}\mid \theta )\colon \Theta \to {\mathbb {R}}$  — функция правдоподобия, где $\mathbf{x}\in <!--\; \in \; -->{\mathbb{R}}^n$${\mathbf {x}}\in {\mathbb {R}}^{n}$ . Точечная оценка

${\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}}_{\mathrm{M}\mathrm{\Pi <!--\; \Pi \; -->}}={\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}}_{\mathrm{M}\mathrm{\Pi <!--\; \Pi \; -->}}(X_1,\dots <!--\; \dots \; -->,X_n)=\underset{\mathrm{\theta <!--\; \theta \; -->}\in <!--\; \in \; -->\mathrm{\Theta <!--\; \Theta \; -->}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}<!--\; \; -->L(X_1,\dots <!--\; \dots \; -->,X_n\mid <!--\; \mid \; -->\mathrm{\theta <!--\; \theta \; -->})$${\hat {\theta }}_{\mathrm {M\Pi } }={\hat {\theta }}_{\mathrm {M\Pi } }(X_{1},\ldots ,X_{n})=\mathop {\rm {argmax}} \limits _{\theta \in \Theta }L(X_{1},\ldots ,X_{n}\mid \theta )$ 

называется оце́нкой максима́льного правдоподо́бия параметра $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ . Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

Часто вместо функции правдоподобия $L$$L$  используют логарифмическую функцию правдоподобия $l=\ln <!--\; \; -->L$$l=\ln L$ . Так как функция $x\to <!--\; \to \; -->\ln <!--\; \; -->x,x>0$$x\to \ln x,\;x>0$  монотонно возрастает на всей области определения, максимум любой функции $L(\mathrm{\theta <!--\; \theta \; -->})$$L(\theta )$  является максимумом функции $\ln <!--\; \; -->L(\mathrm{\theta <!--\; \theta \; -->})$$\ln L(\theta )$  и наоборот. Таким образом,

${\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}}_{\mathrm{M}\mathrm{\Pi <!--\; \Pi \; -->}}=\underset{\mathrm{\theta <!--\; \theta \; -->}\in <!--\; \in \; -->\mathrm{\Theta <!--\; \Theta \; -->}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}<!--\; \; -->l(X_1,\dots <!--\; \dots \; -->,X_n\mid <!--\; \mid \; -->\mathrm{\theta <!--\; \theta \; -->})$${\hat {\theta }}_{\mathrm {M\Pi } }=\mathop {\rm {argmax}} \limits _{\theta \in \Theta }l(X_{1},\ldots ,X_{n}\mid \theta )$ ,

Если функция правдоподобия дифференцируема, то необходимое условие экстремума — равенство нулю её градиента:

$g(\mathrm{\theta <!--\; \theta \; -->})=\frac{\mathrm{\partial <!--\; \partial \; -->}l(\mathbf{x},{\mathrm{\theta <!--\; \theta \; -->}}_0)}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}}=0$$g(\theta )={\frac {\partial l({\mathbf {x}},\theta _{0})}{\partial \theta }}=0$ 

Достаточное условие экстремума может быть сформулировано как отрицательная определённость гессиана — матрицы вторых производных:

$H=\frac{{\mathrm{\partial <!--\; \partial \; -->}}^{2}l(\mathbf{x},{\mathrm{\theta <!--\; \theta \; -->}}_0)}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\theta <!--\; \theta \; -->}\mathrm{\partial <!--\; \partial \; -->}{\mathrm{\theta <!--\; \theta \; -->}}^T}$$H={\frac {\partial ^{2}l({\mathbf {x}},\theta _{0})}{\partial \theta \partial \theta ^{T}}}$ 

Важное значение для оценки свойств оценок метода максимального правдоподобия играет так называемая информационная матрица, равная по определению:

$I(\mathrm{\theta <!--\; \theta \; -->})=E[g(\mathrm{\theta <!--\; \theta \; -->})g(\mathrm{\theta <!--\; \theta \; -->}{)}^T]$$I(\theta )=E[g(\theta )g(\theta )^{T}]$ 

В оптимальной точке информационная матрица совпадает с математическим ожиданием гессиана, взятым со знаком минус:

$I=-<!--\; -\; -->E(H_0)$$I=-E(H_{0})$ 

СвойстваПравить

• Оценки максимального правдоподобия, вообще говоря, могут быть смещёнными (см. примеры), но являются состоятельными, асимптотически эффективными и асимптотически нормальными оценками. Асимптотическая нормальность означает, что

$\sqrt{n}(\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}-<!--\; -\; -->\mathrm{\theta <!--\; \theta \; -->})\stackrel{d}{\to }N(0,{\mathit{I}}_{\mathrm{\infty <!--\; \infty \; -->}}^{-<!--\; -\; -->1})$${\sqrt {n}}({\hat {\theta }}-\theta ){\xrightarrow d}N(0,{\boldsymbol {I}}_{{\infty }}^{{-1}})$ 

где ${\mathit{I}}_{\mathrm{\infty <!--\; \infty \; -->}}=-<!--\; -\; -->\underset{n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}}{lim}\frac{1}{n}\mathbb{E}(\mathit{H})$${\boldsymbol {I}}_{{\infty }}=-\lim _{{n\rightarrow \infty }}{\frac {1}{n}}{\mathbb {E}}({\boldsymbol {H}})$  — асимптотическая информационная матрица.

Асимптотическая эффективность означает, что асимптотическая ковариационная матрица ${\mathit{I}}_{\mathrm{\infty <!--\; \infty \; -->}}^{-<!--\; -\; -->1}$${\boldsymbol {I}}_{{\infty }}^{{-1}}$  является нижней границей для всех состоятельных асимптотически нормальных оценок.

• Если $\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}$${\hat {\theta }}$  — оценка метода максимального правдоподобия, параметров $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ , то $g(\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}})$$g({\hat {\theta }})$  является оценкой максимального правдоподобия для $g(\mathrm{\theta <!--\; \theta \; -->})$$g(\theta )$ , где g — непрерывная функция (функциональная инвариантность). Таким образом, законы распределения данных можно параметризовать различным образом.
• Также необходимым условием МП-оценок является выполнение системы вида:

  $\left\{{\begin{matrix}{\frac {\partial }{\partial \theta _{1}}}\ln {L_{n}}\left({\vec {x}},{\vec {\theta }}\right)&=&0\\\cdots &\cdots &\\{\frac {\partial }{\partial \theta _{k}}}\ln {L_{n}}\left({\vec {x}},{\vec {\theta }}\right)&=&0\\\end{matrix}}\right.$ 

где $L_n\left(\stackrel{\to <!--\; \to \; -->}{x},\stackrel{\to <!--\; \to \; -->}{\mathrm{\theta <!--\; \theta \; -->}}\right)=\underset{i=1}{\overset{n}{\prod <!--\; \prod \; -->}}{L}_1\left(x_i,\stackrel{\to <!--\; \to \; -->}{\mathrm{\theta <!--\; \theta \; -->}}\right)$$L_{n}\left({\vec {x}},{\vec {\theta }}\right)=\prod _{i=1}^{n}L_{1}\left(x_{i},{\vec {\theta }}\right)$  — функция правдоподобия выборки $\stackrel{\to <!--\; \to \; -->}{x}$${\vec {x}}$  объёма $n$$n$ 

ПримерыПравить

• Пусть $X_1,\dots <!--\; \dots \; -->,X_n\sim <!--\; \sim \; -->\mathrm{U}[0,\mathrm{\theta <!--\; \theta \; -->}]$$X_{1},\ldots ,X_{n}\sim {\mathrm {U}}[0,\theta ]$  — независимая выборка из непрерывного равномерного распределения на отрезке $[0,\mathrm{\theta <!--\; \theta \; -->}]$$[0,\theta ]$ , где $\mathrm{\theta <!--\; \theta \; -->}>0$$\theta >0$  — неизвестный параметр. Тогда функция правдоподобия имеет вид

$f({\mathbf {x}}\mid \theta )={\begin{cases}{\frac {1}{\theta ^{n}}},&{\mathbf {x}}\in [0,\theta ]^{n}\subset {\mathbb {R}}^{n}\\0,&{\mathbf {x}}\not \in [0,\theta ]^{n}\end{cases}}.$ 

Последнее равенство может быть переписано в виде:

$f({\mathbf {x}}\mid \theta )={\begin{cases}{\frac {1}{\theta ^{n}}},&\theta \geq \max(x_{1},\ldots ,x_{n})\\0,&\theta <\max(x_{1},\ldots ,x_{n})\end{cases}},$ 

где $\mathbf{x}=(x_1,\dots <!--\; \dots \; -->,x_n{)}^{\mathrm{\top <!--\; \top \; -->}}$${\mathbf {x}}=(x_{1},\ldots ,x_{n})^{{\top }}$ , откуда видно, что своего максимума функция правдоподобия достигает в точке $\mathrm{\theta <!--\; \theta \; -->}=max(x_1,\dots <!--\; \dots \; -->,x_n)$$\theta =\max(x_{1},\ldots ,x_{n})$ . Таким образом

${\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}}_{\mathrm{M}\mathrm{\Pi <!--\; \Pi \; -->}}=max(X_1,\dots <!--\; \dots \; -->,X_n)$${\hat {\theta }}_{{{\mathrm {M\Pi }}}}=\max(X_{1},\ldots ,X_{n})$ .

Такая оценка будет смещенной: $P\{max(X_1,\dots <!--\; \dots \; -->,X_n)\le <!--\; \le \; -->x\}={\left(\frac{x}{\mathrm{\theta <!--\; \theta \; -->}}\right)}^n$$P\{\max(X_{1},\ldots ,X_{n})\leq x\}=\left({\frac {x}{\theta }}\right)^{n}$ , откуда $E{\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}}_{\mathrm{M}\mathrm{\Pi <!--\; \Pi \; -->}}={\int <!--\; \int \; -->}_0^{\mathrm{\theta <!--\; \theta \; -->}}xd{\left(\frac{x}{\mathrm{\theta <!--\; \theta \; -->}}\right)}^n=\frac{n}{n+1}\mathrm{\theta <!--\; \theta \; -->}$$E{\hat {\theta }}_{{{\mathrm {M\Pi }}}}=\int _{0}^{\theta }xd\left({\frac {x}{\theta }}\right)^{n}={\frac {n}{n+1}}\theta$ 

• Пусть $X_1,\dots <!--\; \dots \; -->,X_n\sim <!--\; \sim \; -->\mathrm{N}(\mathrm{\mu <!--\; \mu \; -->},{\mathrm{\sigma <!--\; \sigma \; -->}}^2)$$X_{1},\ldots ,X_{n}\sim \mathrm {N} (\mu ,\sigma ^{2})$  — независимая выборка из нормального распределения с неизвестными средним и дисперсией. Построим оценку максимального правдоподобия ${\left({\stackrel{^<!--\; ^\; -->}{\mathrm{\mu <!--\; \mu \; -->}}}_{\mathrm{M}\mathrm{\Pi <!--\; \Pi \; -->}},{\stackrel{^<!--\; ^\; -->}{{\mathrm{\sigma <!--\; \sigma \; -->}}^2}}_{\mathrm{M}\mathrm{\Pi <!--\; \Pi \; -->}}\right)}^{\mathrm{T}}$$\left(\widehat {\mu }_{{{\mathrm {M\Pi }}}},\widehat {\sigma ^{2}}_{{{\mathrm {M\Pi }}}}\right)^{{{\rm {T}}}}$  для неизвестного вектора параметров ${\left(\mathrm{\mu <!--\; \mu \; -->},{\mathrm{\sigma <!--\; \sigma \; -->}}^2\right)}^{\mathrm{T}}$$\left(\mu ,\sigma ^{2}\right)^{{{\rm {T}}}}$ . Логарифмическая функция правдоподобия принимает вид

$L(\mathbf{x}\mid <!--\; \mid \; -->\mathrm{\mu <!--\; \mu \; -->},{\mathrm{\sigma <!--\; \sigma \; -->}}^2)=-<!--\; -\; -->\frac{n}{2}\ln <!--\; \; -->(2\mathrm{\pi <!--\; \pi \; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}^2)-<!--\; -\; -->\frac{1}{2{\mathrm{\sigma <!--\; \sigma \; -->}}^2}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}(X_i-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^2$$L({\mathbf {x}}\mid \mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum \limits _{{i=1}}^{n}(X_{i}-\mu )^{2}$ .

Чтобы найти её максимум, приравняем к нулю частные производные:

$\{\begin{array}{c}\frac{\mathrm{\partial <!--\; \partial \; -->}}{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\mu <!--\; \mu \; -->}}L(\mathbf{x}\mid <!--\; \mid \; -->\mathrm{\mu <!--\; \mu \; -->},{\mathrm{\sigma <!--\; \sigma \; -->}}^2)=0\\ \frac{\mathrm{\partial <!--\; \partial \; -->}}{\mathrm{\partial <!--\; \partial \; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}^2}L(\mathbf{x}\mid <!--\; \mid \; -->\mathrm{\mu <!--\; \mu \; -->},{\mathrm{\sigma <!--\; \sigma \; -->}}^2)=0\end{array}\Rightarrow <!--\; \Rightarrow \; -->\{\begin{array}{c}\frac{\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{X}_i-<!--\; -\; -->n\mathrm{\mu <!--\; \mu \; -->}}{{\mathrm{\sigma <!--\; \sigma \; -->}}^2}=0\\ -<!--\; -\; -->\frac{n}{2{\mathrm{\sigma <!--\; \sigma \; -->}}^2}+\frac{\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}(X_i-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^2}{2{\left({\mathrm{\sigma <!--\; \sigma \; -->}}^2\right)}^2}=0\end{array},$$\left\{{\begin{matrix}\displaystyle {\frac {\partial }{\partial \mu }}L({\mathbf {x}}\mid \mu ,\sigma ^{2})=0\\[10pt]\displaystyle {\frac {\partial }{\partial \sigma ^{2}}}L({\mathbf {x}}\mid \mu ,\sigma ^{2})=0\\\end{matrix}}\right.\Rightarrow \left\{{\begin{matrix}\displaystyle {\frac {\sum \limits _{{i=1}}^{n}X_{i}-n\mu }{\sigma ^{2}}}=0\\[10pt]\displaystyle -{\frac {n}{2\sigma ^{2}}}+{\frac {\sum \limits _{{i=1}}^{n}(X_{i}-\mu )^{2}}{2\left(\sigma ^{2}\right)^{2}}}=0\\\end{matrix}}\right.,$ 

откуда

${\stackrel{^<!--\; ^\; -->}{\mathrm{\mu <!--\; \mu \; -->}}}_{\mathrm{M}\mathrm{\Pi <!--\; \Pi \; -->}}=\stackrel{¯<!--\; ¯\; -->}{X}$${\hat {\mu }}_{\mathrm {M\Pi } }={\overline {X}}$  — выборочное среднее, а

${\stackrel{^<!--\; ^\; -->}{{\mathrm{\sigma <!--\; \sigma \; -->}}^2}}_{\mathrm{M}\mathrm{\Pi <!--\; \Pi \; -->}}=S_n^2$$\widehat {\sigma ^{2}}_{{{\mathrm {M\Pi }}}}=S_{n}^{2}$  — выборочная дисперсия.

Применение методаПравить

Обработка экспериментаПравить

Предположим, что мы измеряем некоторую величину $a$${\textstyle a}$ . Сделав одно измерение, получили её значение $x_1$${\textstyle x_{1}}$  с ошибкой ${\mathrm{\sigma <!--\; \sigma \; -->}}_1$${\textstyle \sigma _{1}}$ : $x_1\pm <!--\; \pm \; -->{\mathrm{\sigma <!--\; \sigma \; -->}}_1$${\textstyle x_{1}\pm \sigma _{1}}$ . Запишем плотность вероятности того, что величина $a$${\textstyle a}$  примет значение $x_1$${\textstyle x_{1}}$ :

$W(a)=\frac{1}{\sqrt{2\mathrm{\pi <!--\; \pi \; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}_1^2}}\exp <!--\; \; -->\left[-<!--\; -\; -->\frac{(x_1-<!--\; -\; -->a{)}^2}{2{\mathrm{\sigma <!--\; \sigma \; -->}}_1^2}\right]$$W(a)={\frac {1}{\sqrt {2\pi \sigma _{1}^{2}}}}\exp \left[-{\frac {(x_{1}-a)^{2}}{2\sigma _{1}^{2}}}\right]$ .

Теперь предположим, что мы провели несколько таких измерений и получили $x_1\pm <!--\; \pm \; -->{\mathrm{\sigma <!--\; \sigma \; -->}}_1,x_2\pm <!--\; \pm \; -->{\mathrm{\sigma <!--\; \sigma \; -->}}_2\dots <!--\; \dots \; -->x_n\pm <!--\; \pm \; -->{\mathrm{\sigma <!--\; \sigma \; -->}}_n$${\textstyle x_{1}\pm \sigma _{1},x_{2}\pm \sigma _{2}\ldots x_{n}\pm \sigma _{n}}$ . Плотность вероятности того, что величина $a$${\textstyle a}$  примет значения $x_1,x_2\dots <!--\; \dots \; -->x_n$${\textstyle x_{1},x_{2}\ldots x_{n}}$ , будет:

$W(a)=\underset{i=1}{\overset{n}{\prod <!--\; \prod \; -->}}\frac{1}{\sqrt{2\mathrm{\pi <!--\; \pi \; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}_i^2}}\exp <!--\; \; -->\left[-<!--\; -\; -->\frac{(x_i-<!--\; -\; -->a{)}^2}{2{\mathrm{\sigma <!--\; \sigma \; -->}}_i^2}\right]$$W(a)=\prod _{i=1}^{n}{{\frac {1}{\sqrt {2\pi \sigma _{i}^{2}}}}\exp \left[-{\frac {(x_{i}-a)^{2}}{2\sigma _{i}^{2}}}\right]}$ .

Эта функция называется функцией правдоподобия. Наиболее вероятное значение измеряемой величины $a^{\ast <!--\; \ast \; -->}$${\textstyle a^{*}}$  определяется по максимуму функции правдоподобия. Более удобной является логарифмическая функция правдоподобия:

$L(a)=\ln <!--\; \; -->W(a)=-<!--\; -\; -->\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\frac{(x_i-<!--\; -\; -->a{)}^2}{2{\mathrm{\sigma <!--\; \sigma \; -->}}_i^2}+\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\ln <!--\; \; -->\frac{1}{\sqrt{2\mathrm{\pi <!--\; \pi \; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}_i^2}}$$L(a)=\ln W(a)=-\sum _{i=1}^{n}{\frac {(x_{i}-a)^{2}}{2\sigma _{i}^{2}}}+\sum _{i=1}^{n}{\ln {\frac {1}{\sqrt {2\pi \sigma _{i}^{2}}}}}$ .

Продифференцируем логарифмическую функцию правдоподобия по $a$${\textstyle a}$ :

$\frac{\mathrm{\partial <!--\; \partial \; -->}L}{\mathrm{\partial <!--\; \partial \; -->}a}=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\frac{x_i-<!--\; -\; -->a}{{\mathrm{\sigma <!--\; \sigma \; -->}}_i^2}$${\frac {\partial {L}}{\partial {a}}}=\sum _{{i=1}}^{n}{{\frac {x_{i}-a}{\sigma _{i}^{2}}}}$ .

Приравняем $\frac{\mathrm{\partial <!--\; \partial \; -->}L}{\mathrm{\partial <!--\; \partial \; -->}a}$${\frac {\partial {L}}{\partial {a}}}$  к $0$${\textstyle 0}$  и получим некоторое значение $a=a^{\ast <!--\; \ast \; -->}$${\textstyle a=a^{*}}$ :

$a^{\ast <!--\; \ast \; -->}=\frac{\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\frac{x_i}{{\mathrm{\sigma <!--\; \sigma \; -->}}_i^2}}{\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\frac{1}{{\mathrm{\sigma <!--\; \sigma \; -->}}_i^2}}$$a^{*}={\frac {\sum \limits _{{i=1}}^{{n}}{{\frac {x_{i}}{\sigma _{i}^{2}}}}}{\sum \limits _{{i=1}}^{{n}}{{\frac {1}{\sigma _{i}^{2}}}}}}$ .

Крамер сформулировал следующую теорему:

Теорема: Не существует другого метода обработки результатов эксперимента, который дал бы лучшее приближение к истине, чем метод максимального правдоподобия.

Ошибки измеренийПравить

Предположим, что мы провели серию измерений и получили серию значений $a^{\ast <!--\; \ast \; -->}$${\textstyle a^{*}}$ , естественно записать, что это распределение будет иметь гауссовский вид:

$W(a)=\frac{1}{\sqrt{2\mathrm{\pi <!--\; \pi \; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}_{a^{\ast <!--\; \ast \; -->}}^2}}\exp <!--\; \; -->\left[-<!--\; -\; -->\frac{(a^{\ast <!--\; \ast \; -->}-<!--\; -\; -->a{)}^2}{2{\mathrm{\sigma <!--\; \sigma \; -->}}_{a^{\ast <!--\; \ast \; -->}}^2}\right]$$W(a)={\frac {1}{{\sqrt {2\pi \sigma _{{a^{*}}}^{2}}}}}\exp \left[-{\frac {(a^{*}-a)^{2}}{2\sigma _{{a^{*}}}^{2}}}\right]$ .

Запишем логарифмическую функцию правдоподобия:$L(a)=\ln <!--\; \; -->W(a)=-<!--\; -\; -->\frac{(a^{\ast <!--\; \ast \; -->}-<!--\; -\; -->a{)}^2}{2{\mathrm{\sigma <!--\; \sigma \; -->}}_{a^{\ast <!--\; \ast \; -->}}^2}+\ln <!--\; \; -->\frac{1}{\sqrt{2\mathrm{\pi <!--\; \pi \; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}_{a^{\ast <!--\; \ast \; -->}}^2}}$$L(a)=\ln W(a)=-{{\frac {(a^{*}-a)^{2}}{2\sigma _{{a^{*}}}^{2}}}}+{\ln {{\frac {1}{{\sqrt {2\pi \sigma _{{a^{*}}}^{2}}}}}}}$ .

Возьмем первую производную:

$\frac{\mathrm{\partial <!--\; \partial \; -->}L}{\mathrm{\partial <!--\; \partial \; -->}a}=\frac{a^{\ast <!--\; \ast \; -->}-<!--\; -\; -->a}{{\mathrm{\sigma <!--\; \sigma \; -->}}_{a^{\ast <!--\; \ast \; -->}}^2}$${\frac {\partial {L}}{\partial {a}}}={\frac {a^{*}-a}{\sigma _{{a^{*}}}^{2}}}$ .

Если $\frac{\mathrm{\partial <!--\; \partial \; -->}L}{\mathrm{\partial <!--\; \partial \; -->}a}=0$${\frac {\partial {L}}{\partial {a}}}=0$  , то $a=a^{\ast <!--\; \ast \; -->}$$a=a^{*}$ . Теперь возьмем вторую производную:

$\frac{{\mathrm{\partial <!--\; \partial \; -->}}^{2}L}{\mathrm{\partial <!--\; \partial \; -->}{a}^2}=-<!--\; -\; -->\frac{1}{{\mathrm{\sigma <!--\; \sigma \; -->}}_{a^{\ast <!--\; \ast \; -->}}^2}$${\frac {\partial ^{2}{L}}{\partial {a}^{2}}}=-{\frac {1}{\sigma _{a^{*}}^{2}}}$ , откуда

${\mathrm{\sigma <!--\; \sigma \; -->}}_{a^{\ast <!--\; \ast \; -->}}={\left(-<!--\; -\; -->\frac{{\mathrm{\partial <!--\; \partial \; -->}}^{2}L}{\mathrm{\partial <!--\; \partial \; -->}{a}^2}{|}_{a=a^{\ast <!--\; \ast \; -->}}\right)}^{-<!--\; -\; -->1/2}$$\sigma _{a^{*}}=\left(-{\frac {\partial ^{2}{L}}{\partial {a}^{2}}}{\Big |}_{a=a^{*}}\right)^{-1/2}$ .

Это называется первой магической формулой.

Условный метод максимального правдоподобияПравить

Условный метод максимального правдоподобия (Conditional ML) используется в регрессионных моделях. Суть метода заключается в том, что используется не полное совместное распределение всех переменных (зависимой и регрессоров), а только условное распределение зависимой переменной по факторам, то есть фактически распределение случайных ошибок регрессионной модели. Полная функция правдоподобия есть произведение «условной функции правдоподобия» и плотности распределения факторов. Условный ММП эквивалентен полному варианту ММП в том случае, когда распределение факторов никак не зависит от оцениваемых параметров. Это условие часто нарушается в моделях временных рядов, например в авторегрессионной модели. В данном случае, регрессорами являются прошлые значения зависимой переменной, а значит их значения также подчиняются той же AR-модели, то есть распределение регрессоров зависит от оцениваемых параметров. В таких случаях результаты применения условного и полного метода максимального правдоподобия будут различаться.

См. такжеПравить

• Правдоподобие принятой последовательности
• Метод моментов
• Обобщенный метод моментов
• Метод наименьших квадратов
• Метод инструментальных переменных
• EM-алгоритм

ЛитератураПравить

• Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс. — М.: Дело, 2007. — 504 с. — ISBN 978-5-7749-0473-0.
• Остапенко Р. И. Основы структурного моделирования в психологии и педагогике: учебно-методическое пособие для студентов психолого-педагогического факультета. — Воронеж.: ВГПУ, 2012. — 116 с. — ISBN 978-5-88519-886-8.
• Никулин М. С. Отношения правдоподобия критерий // Математическая энциклопедия / Виноградов И. М. (гл. ред.). — М.: Советская энциклопедия, 1984. — Т. 4. — С. 151. — 1216 с.