Метод моментов

Ме́тод моме́нтов — метод оценки неизвестных параметров распределений в математической статистике и эконометрике, основанный на предполагаемых свойствах моментов (Пирсон, 1894 г.). Идея метода заключается в замене истинных соотношений выборочными аналогами.

Суть методаПравить

Пусть случайная величина (вектор, матрица и т. д.) X имеет некоторое распределение ${\mathbb{P}}_{\mathrm{\theta <!--\; \theta \; -->}}$$\mathbb {P} _{\theta }$ , зависящее от параметров $\mathrm{\theta <!--\; \theta \; -->}\in <!--\; \in \; -->\mathrm{\Theta <!--\; \Theta \; -->}\subset <!--\; \subset \; -->{\mathbb{R}}^k$$\theta \in \Theta \subset {\mathbb {R}}^{k}$ . Пусть для функций (называемых моментами или моментными функциями) $g_i:{\mathbb{R}}^m\to <!--\; \to \; -->\mathbb{R}$$g_{i}:{\mathbb {R}}^{m}\to {\mathbb {R}}$ , интегрируемых по мере ${\mathbb{P}}_{\mathrm{\theta <!--\; \theta \; -->}}$$\mathbb {P} _{\theta }$ , выполнены условия на моменты

$\mathbb{E}\left[g_i(X,\mathrm{\theta <!--\; \theta \; -->})\right]=0,i=\mathrm{1..}k$${\mathbb {E}}\left[g_{i}(X,\theta )\right]=0~,~~i=1..k$ 

Пусть $X_1,\dots <!--\; \dots \; -->,X_n$$X_{1},\ldots ,X_{n}$  — выборка случайной величины X. Предполагается, что соотношения, аналогичные условиям на моменты, выполнены и для выборки, а именно вместо математического ожидания в условиях на моменты необходимо использовать выборочные средние:

$\stackrel{¯<!--\; ¯\; -->}{g_i(X,\mathrm{\theta <!--\; \theta \; -->})}=0,i=\mathrm{1..}k$$\overline {g_{i}(X,\theta )}=0~,~~i=1..k$ 

причем в данном представлении (когда справа от равенства — ноль) достаточно использовать просто суммы вместо средних.

Оценки, получаемые из решения этой системы уравнений (выборочных условий на моменты), называются оценками метода моментов. Название метода связано с тем, что чаще всего в качестве функций $g_i$$g_i$  выступают функции степенного вида, математические ожидания от которых в теории вероятностей и математической статистике принято называть моментами.

Если моментные функции непрерывны, то оценки метода моментов состоятельны.

Частные случаиПравить

Некоторые классические методы оценки регрессионных моделей можно представить как частные случаи метода моментов. Например, если линейная регрессионная модель $y_t=x_t^{T}b+{\mathrm{\epsilon <!--\; \epsilon \; -->}}_t$$y_{t}=x_{t}^{T}b+\varepsilon _{t}$  удовлетворяет условию $E(x_t^T{\mathrm{\epsilon <!--\; \epsilon \; -->}}_t)=0$$E(x_{t}^{T}\varepsilon _{t})=0$ , то условия на моменты выглядят следующим образом:

$X^{T}e=0\Rightarrow <!--\; \Rightarrow \; -->X^T(y-<!--\; -\; -->Xb)=0\Rightarrow <!--\; \Rightarrow \; -->X^{T}Xb=X^{T}y$$X^{T}e=0~\Rightarrow ~X^{T}(y-Xb)=0~\Rightarrow ~X^{T}Xb=X^{T}y$ 

Следовательно, в этом случае оценка метода моментов будет совпадать с оценкой метода наименьших квадратов ${\stackrel{^<!--\; ^\; -->}{b}}_{MM}={\stackrel{^<!--\; ^\; -->}{b}}_{OLS}=(X^{T}X{)}^{-<!--\; -\; -->1}{X}^{T}y$${\hat {b}}_{{MM}}={\hat {b}}_{{OLS}}=(X^{T}X)^{{-1}}X^{T}y$ 

Таким образом, МНК является частным случаем метода моментов, когда выполняется условие ортогональности регрессоров и случайных ошибок $E(x_t^T{\mathrm{\epsilon <!--\; \epsilon \; -->}}_t)=0$$E(x_{t}^{T}\varepsilon _{t})=0$ 

Рассмотрим другой случай, когда имеются некоторые переменные z, ортогональные случайным ошибкам линейной регрессионной модели, то есть $E(z_t^T{\mathrm{\epsilon <!--\; \epsilon \; -->}}_t)=0$$E(z_{t}^{T}\varepsilon _{t})=0$ . Тогда имеем выборочный аналог этого условия:

$Z^{T}e=0\Rightarrow <!--\; \Rightarrow \; -->Z^T(y-<!--\; -\; -->Xb)=0\Rightarrow <!--\; \Rightarrow \; -->Z^{T}Xb=Z^{T}y$$Z^{T}e=0~\Rightarrow Z^{T}(y-Xb)=0~\Rightarrow ~Z^{T}Xb=Z^{T}y$ 

Следовательно оценка метода моментов будет совпадать с оценкой метода инструментальных переменных: ${\stackrel{^<!--\; ^\; -->}{b}}_{MM}={\stackrel{^<!--\; ^\; -->}{b}}_{IV}=(Z^{T}X{)}^{-<!--\; -\; -->1}{Z}^{T}y$${\hat {b}}_{{MM}}={\hat {b}}_{{IV}}=(Z^{T}X)^{{-1}}Z^{T}y$ .

Таким образом, метод инструментальных переменных является частным случаем метода моментов, когда выполнено условие ортогональности инструментов и случайных ошибок модели.

Обобщенный метод моментовПравить

Основная статья: Обобщенный метод моментов

Метод моментов может быть обобщен на случай, когда количество условий на моменты превышает количество параметров, которые необходимо оценить. В этом случае очевидно однозначного решения задача не имеет (в общем случае). В таком случае решается задача на минимизацию некоторого функционала, характеризующего интегральную степень соблюдения условий на моменты.

Пусть $E(g(x,b))=0$$E(g(x,b))=0$  — совокупность условий на моменты, число которых больше числа неизвестных параметров. Обобщенным методом моментов (ОММ, GMM — Generalized Method of Moments) называется оценка, минимизирующая положительно определенную квадратичную форму от выборочных условий на моменты:

${\stackrel{^<!--\; ^\; -->}{b}}_{GMM}=\arg <!--\; \; -->\underset{b}{min}{\stackrel{¯<!--\; ¯\; -->}{g(x,b)}}^{T}W\stackrel{¯<!--\; ¯\; -->}{g(x,b)}$${\hat {b}}_{GMM}=\arg \min _{b}{\overline {g(x,b)}}^{T}W{\overline {g(x,b)}}$ 

где W — некоторая симметрическая положительно определенная матрица.

Весовая матрица теоретически может быть произвольной (с учетом ограничения положительной определенности), однако доказано, что наиболее эффективными являются GMM-оценки с весовой матрицей, равной обратной ковариационной матрице  моментных функций $W=V_g^{-<!--\; -\; -->1}$$W=V_{g}^{{-1}}$ . Это так называемый эффективный GMM. Однако, поскольку на практике эта ковариационная матрица неизвестна, то применяют следующую процедуру. На первом шаге оцениваются параметры модели с помощью GMM с единичной весовой матрицей. Затем по выборочным данным и найденным значениям параметров оценивают ковариационную матрицу моментных функций и используют полученную оценку в эффективном GMM (это т. н. доступный эффективный GMM).

ПримерПравить

Пусть $X_1,\dots <!--\; \dots \; -->,X_n\sim <!--\; \sim \; -->\mathrm{\Gamma <!--\; \Gamma \; -->}(\mathrm{\alpha <!--\; \alpha \; -->},\mathrm{\beta <!--\; \beta \; -->})$$X_{1},\ldots ,X_{n}\sim \Gamma (\alpha ,\beta )$  — выборка из гамма-распределения с неизвестными параметрами $\mathrm{\alpha <!--\; \alpha \; -->}$$\alpha$  и $\mathrm{\beta <!--\; \beta \; -->}$$\beta$ . Тогда

$\mathbb{E}[X_i]=\mathrm{\alpha <!--\; \alpha \; -->}\mathrm{\beta <!--\; \beta \; -->},\mathbb{E}\left[X_i^2\right]=\mathrm{\alpha <!--\; \alpha \; -->}(\mathrm{\alpha <!--\; \alpha \; -->}+1){\mathrm{\beta <!--\; \beta \; -->}}^2,i=1,\dots <!--\; \dots \; -->,n$${\mathbb {E}}[X_{i}]=\alpha \beta ,\;{\mathbb {E}}\left[X_{i}^{2}\right]=\alpha (\alpha +1)\beta ^{2},\quad i=1,\ldots ,n$ .

Тогда оценки метода моментов удовлетворяют системе уравнений:

${\begin{matrix}\overline {X}=&{\hat {\alpha }}_{{{\mathrm {MM}}}}{\hat {\beta }}_{{{\mathrm {MM}}}}\\\overline {X^{2}}=&{\hat {\alpha }}_{{{\mathrm {MM}}}}({\hat {\alpha }}_{{{\mathrm {MM}}}}+1)\left({\hat {\beta }}_{{{\mathrm {MM}}}}\right)^{2}\end{matrix}}~~\Rightarrow ~~{\hat {\alpha }}_{{{\mathrm {MM}}}}={\frac {\left(\overline {X}\right)^{2}}{\overline {X^{2}}-\left(\overline {X}\right)^{2}}}~,~~{\hat {\beta }}_{{{\mathrm {MM}}}}={\frac {\overline {X^{2}}-\left(\overline {X}\right)^{2}}{\overline {X}}}$ .

Преимущества и недостатки методаПравить

В известной мере, при оценке параметров из известного семейства вероятностных распределений, этот метод упраздняется Фишеровским методом максимального правдоподобия, так как максимально правдоподобная оценка имеет большую вероятность оказаться ближе к истинному значению оцениваемой величины.

Тем не менее, в некоторых случаях, например, как выше в случае гамма-распределения, использование метода максимального правдоподобия требует использования компьютеров, в то время как метод моментов может быть быстро и легко реализован вручную.

Оценки, полученные методом моментов, могут быть использованы как первое приближение для метода максимума правдоподобия. Дальнейшее улучшение оценок может быть получено с использованием метода Ньютона-Рафсона.

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой, то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

См. такжеПравить

• Метод максимального правдоподобия
• Метод наименьших квадратов
• Метод инструментальных переменных