Модель авторегрессии — скользящего среднего

Модель авторегрессии — скользящего среднего (англ. autoregressive moving-average model, ARMA) — одна из математических моделей, использующихся для анализа и прогнозирования стационарных временных рядов в статистике. Модель ARMA обобщает две более простые модели временных рядов — модель авторегрессии (AR) и модель скользящего среднего (MA).

ОпределениеПравить

Моделью ARMA(p, q), где p и q — целые числа, задающие порядок модели, называется следующий процесс генерации временного ряда $\{X_t\}$$\{X_{t}\}$ :

$X_t=c+{\mathrm{\epsilon <!--\; \epsilon \; -->}}_t+\underset{i=1}{\overset{p}{\sum <!--\; \sum \; -->}}{\mathrm{\alpha <!--\; \alpha \; -->}}_i{X}_{t-<!--\; -\; -->i}+\underset{i=0}{\overset{q}{\sum <!--\; \sum \; -->}}{\mathrm{\beta <!--\; \beta \; -->}}_i{\mathrm{\epsilon <!--\; \epsilon \; -->}}_{t-<!--\; -\; -->i}$$X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\alpha _{i}X_{t-i}+\sum _{i=0}^{q}\beta _{i}\varepsilon _{t-i}$ ,

где $c$$c$  — константа, $\{{\mathrm{\epsilon <!--\; \epsilon \; -->}}_t\}$$\{\varepsilon _{t}\}$  — белый шум, то есть последовательность независимых и одинаково распределённых случайных величин (как правило, нормальных), с нулевым средним, а ${\mathrm{\alpha <!--\; \alpha \; -->}}_1,\dots <!--\; \dots \; -->,{\mathrm{\alpha <!--\; \alpha \; -->}}_p$$\alpha _{1},\ldots ,\alpha _{p}$  и ${\mathrm{\beta <!--\; \beta \; -->}}_1,\dots <!--\; \dots \; -->,{\mathrm{\beta <!--\; \beta \; -->}}_q$$\beta _{1},\ldots ,\beta _{q}$  — действительные числа, авторегрессионные коэффициенты и коэффициенты скользящего среднего, соответственно.

Такая модель может интерпретироваться как линейная модель множественной регрессии, в которой в качестве объясняющих переменных выступают прошлые значения самой зависимой переменной, а в качестве регрессионного остатка — скользящие средние из элементов белого шума. ARMA-процессы имеют более сложную структуру по сравнению со схожими по поведению AR- или MA-процессами в чистом виде, но при этом ARMA-процессы характеризуются меньшим количеством параметров, что является одним из их преимуществ.

Операторное представление. Стационарность и единичные корниПравить

Если ввести в рассмотрение лаговый оператор $L:L{x}_t=x_{t-<!--\; -\; -->1}$$L:~Lx_{t}=x_{{t-1}}$ , тогда ARMA-модель можно записать следующим образом

$X_t=c+(\underset{i=1}{\overset{p}{\sum <!--\; \sum \; -->}}{\mathrm{\alpha <!--\; \alpha \; -->}}_i{L}^i)X_t+(1+\underset{i=1}{\overset{q}{\sum <!--\; \sum \; -->}}{\mathrm{\beta <!--\; \beta \; -->}}_i{L}^i){\mathrm{\epsilon <!--\; \epsilon \; -->}}_t$$X_{t}=c+(\sum _{{i=1}}^{p}\alpha _{i}L^{i})X_{t}+(1+\sum _{{i=1}}^{q}\beta _{i}L^{i})\varepsilon _{t}$ 

или, перенеся авторегрессионную часть в левую часть равенства:

$(1-<!--\; -\; -->\underset{i=1}{\overset{p}{\sum <!--\; \sum \; -->}}{\mathrm{\alpha <!--\; \alpha \; -->}}_i{L}^i)X_t=c+(1+\underset{i=1}{\overset{q}{\sum <!--\; \sum \; -->}}{\mathrm{\beta <!--\; \beta \; -->}}_i{L}^i){\mathrm{\epsilon <!--\; \epsilon \; -->}}_t$$(1-\sum _{{i=1}}^{p}\alpha _{i}L^{i})X_{t}=c+(1+\sum _{{i=1}}^{q}\beta _{i}L^{i})\varepsilon _{t}$ 

Введя сокращенные обозначения для полиномов левой и правой частей окончательно можно записать:

$\mathrm{\alpha <!--\; \alpha \; -->}(L)X_t=c+\mathrm{\beta <!--\; \beta \; -->}(L){\mathrm{\epsilon <!--\; \epsilon \; -->}}_t$$\alpha (L)X_{t}=c+\beta (L)\varepsilon _{t}$ 

Для того, чтобы процесс был стационарным, необходимо, чтобы корни характеристического многочлена авторегрессионной части $\mathrm{\alpha <!--\; \alpha \; -->}(z)$$\alpha (z)$  лежали вне единичного круга в комплексной плоскости (были по модулю строго больше единицы). Стационарный ARMA-процесс можно представить как бесконечный MA-процесс:

$X_t={\mathrm{\alpha <!--\; \alpha \; -->}}^{-<!--\; -\; -->1}(L)c+{\mathrm{\alpha <!--\; \alpha \; -->}}^{-<!--\; -\; -->1}(L)\mathrm{\beta <!--\; \beta \; -->}(L){\mathrm{\epsilon <!--\; \epsilon \; -->}}_t=c/a(1)+\underset{i=0}{\overset{\mathrm{\infty <!--\; \infty \; -->}}{\sum <!--\; \sum \; -->}}{c}_i{\mathrm{\epsilon <!--\; \epsilon \; -->}}_{t-<!--\; -\; -->i}$$X_{t}=\alpha ^{{-1}}(L)c+\alpha ^{{-1}}(L)\beta (L)\varepsilon _{t}=c/a(1)+\sum _{{i=0}}^{{\infty }}c_{i}\varepsilon _{{t-i}}$ 

Например, процесс ARMA(1,0)=AR(1) можно представить как MA-процесс бесконечного порядка с коэффициентами убывающей геометрической прогрессии:

$X_t=c/(1-<!--\; -\; -->a)+\underset{i=0}{\overset{\mathrm{\infty <!--\; \infty \; -->}}{\sum <!--\; \sum \; -->}}{a}^i{\mathrm{\epsilon <!--\; \epsilon \; -->}}_{t-<!--\; -\; -->i}$$X_{t}=c/(1-a)+\sum _{{i=0}}^{{\infty }}a^{i}\varepsilon _{{t-i}}$ 

Таким образом, ARMA-процессы можно считать MA-процессами бесконечного порядка с определенными ограничениями на структуру коэффициентов. Малым количеством параметров они позволяют описать процессы достаточно сложной структуры. Все стационарные процессы можно сколь угодно приблизить ARMA-моделью некоторого порядка с помощью существенно меньшего числа параметров, нежели только при использовании MA-моделей.

Нестационарные (интегрированные) ARMAПравить

Основная статья: ARIMA

При наличии единичных корней авторегрессионного полинома процесс является нестационарным. Корни меньше единицы на практике не рассматриваются, поскольку это процессы взрывного характера. Соответственно, для проверки стационарности временных рядов один из базовых тестов — тесты на единичные корни. Если тесты подтверждают наличие единичного корня, то анализируются разности исходного временного ряда и для стационарного процесса разностей некоторого порядка (обычно достаточно первого порядка, иногда второго) строится ARMA-модель. Такие модели называются ARIMA-моделями (интегрированный ARMA) или моделями Бокса-Дженкинса. Модель ARIMA(p, d, q), где d-порядок интегрирования (порядок разностей исходного временного ряда), p и q — порядок AR и MA — частей ARMA-процесса разностей d-го порядка, можно записать в следующей операторной форме

$\mathrm{\alpha <!--\; \alpha \; -->}(L){△<!--\; △\; -->}^d{X}_t=c+\mathrm{\beta <!--\; \beta \; -->}(L){\mathrm{\epsilon <!--\; \epsilon \; -->}}_t,△<!--\; △\; -->=1-<!--\; -\; -->L$$\alpha (L)\vartriangle ^{d}X_{t}=c+\beta (L)\varepsilon _{t}~,~~~\vartriangle =1-L$ 

Процесс ARIMA(p, d, q) эквивалентен процессу ARMA(p+d, q) с d единичными корнями.

Построение моделиПравить

Для построения модели ARMA по серии наблюдений необходимо определить порядок модели (числа p и q), а затем и сами коэффициенты. Для определения порядка модели может применяться исследование таких характеристик временного ряда, как его автокорреляционная функция и частная автокорреляционная функция. Для определения коэффициентов применяются такие методы, как метод наименьших квадратов и метод максимального правдоподобия.

ARMAX-моделиПравить

В классические ARMA-модели можно добавить некоторые экзогенные факторы x. Причем в общем случае в модели участвуют не только текущие значения этих факторов, но и лаговые значения. Такие модели принято обозначать ARMAX(p, q, k), где k-количество лагов экзогенных факторов. В операторной форме такие модели можно записать следующим образом (один экзогенный фактор)

$a(L)y_t=c+b(L){\mathrm{\epsilon <!--\; \epsilon \; -->}}_t+d(L)x_t$$a(L)y_{t}=c+b(L)\varepsilon _{t}+d(L)x_{t}$ 

где a(L), b(L), d(L) — полиномы порядка соответственно p, q, k от лагового оператора.

Такие модели можно интерпретировать иначе — как модели ADL(p, k) со случайными ошибками MA(q).

См. такжеПравить

• ARIMA
• Авторегрессионная модель
• Модель скользящего среднего