Рекурсивный МНК

Рекурсивный или рекуррентный метод наименьших квадратов (МНК) (англ. Recursive Least Squares) — применяемая в эконометрике итеративная процедура оценки параметров регрессионной модели. Данный метод применяется при мультиколлинеарности факторов (в этом случае матрица $X^{T}X$$X^{T}X$ близка к вырожденной и при её обращении могут возникнуть большие вычислительные неточности). Также получающиеся в результате применения рекурсивного МНК (рекурсивные остатки) используются при тестировании стабильности параметров модели.

Описание методаПравить

В данном методе вместо обращения плохо обусловленной матрицы $X^{T}X$$X^{T}X$  производится расчет матрицы $W_t$$W_{t}$  согласно следующей рекуррентной формуле:

$W_t=W_{t-<!--\; -\; -->1}-<!--\; -\; -->\frac{W_{t-<!--\; -\; -->1}{x}_t{x}_t^T{W}_{t-<!--\; -\; -->1}}{1+x_t^T{W}_{t-<!--\; -\; -->1}{x}_t},t=k+1,...,n$$W_{t}=W_{t-1}-{\frac {W_{t-1}x_{t}x_{t}^{T}W_{t-1}}{1+x_{t}^{T}W_{t-1}x_{t}}}~,~~t=k+1,...,n$ 

То есть на каждом шаге вместо обращения производится деление на число. Для «запуска» процедуры нужно задать начальное значение матрицы.

Параметры модели оцениваются согласно следующему рекуррентному соотношению:

${\stackrel{^<!--\; ^\; -->}{b}}_t={\stackrel{^<!--\; ^\; -->}{b}}_{t-<!--\; -\; -->1}+(y_t-<!--\; -\; -->x_t^T{\stackrel{^<!--\; ^\; -->}{b}}_{t-<!--\; -\; -->1})W_t{x}_t$${\hat {b}}_{t}={\hat {b}}_{t-1}+(y_{t}-x_{t}^{T}{\hat {b}}_{t-1})W_{t}x_{t}$ 

Выражение в скобках представляет собой ошибку прогноза на один период. Известно, что дисперсия ошибки такого прогноза будет равна ${\mathrm{\sigma <!--\; \sigma \; -->}}^2(1+x_t^T{W}_{t-<!--\; -\; -->1}{x}_t)$$\sigma ^{2}(1+x_{t}^{T}W_{t-1}x_{t})$ , где ${\mathrm{\sigma <!--\; \sigma \; -->}}^2$$\sigma ^{2}$  — дисперсия случайных ошибок модели (предполагается классическая регрессионная модель). Для выравнивания дисперсии дисперсий ошибок прогнозов ошибки прогноза делят на квадратный корень из $1+x_t^T{W}_{t-<!--\; -\; -->1}{x}_t$$1+x_{t}^{T}W_{t-1}x_{t}$ . Полученные величины и называют обычно рекурсивными остатками:

$w_t=\frac{y_t-<!--\; -\; -->x_t^T{\stackrel{^<!--\; ^\; -->}{b}}_{t-<!--\; -\; -->1}}{\sqrt{1+x_t^T{W}_{t-<!--\; -\; -->1}{x}_t}}$$w_{t}={\frac {y_{t}-x_{t}^{T}{\hat {b}}_{t-1}}{\sqrt {1+x_{t}^{T}W_{t-1}x_{t}}}}$ 

Если регрессионная модель правильная (то есть соответствует моделируемой зависимости) и выполняются классические предположения, то полученные рекурсивные остатки являются независимыми случайными величинами с нулевым математическим ожиданием и постоянной дисперсией — $iid(0,{\mathrm{\sigma <!--\; \sigma \; -->}}^2)$$iid(0,\sigma ^{2})$ . Это позволяет использовать их для тестирования стабильности параметров модели.

См. такжеПравить

• CUSUM-тест
• Метод наименьших квадратов