Многомерная случайная величина

Многомерная случайная величина или случайный вектор (математика, вероятность и статистика)  - это список математических переменных, значения каждого из которых неизвестно, либо потому что значение еще не произошло, или из-за несовершенного знания о его значении. Индивидуальные переменные в случайном векторе сгруппированы вместе, потому что они являются частью единой математической системы — часто они представляют различные свойства отдельных статистических единиц. Например, пусть какое-то конкретное лицо имеет определенный возраст, рост и вес. Совокупность же этих особенностей у случайного человека из группы будет случайным вектором. Обычно каждый элемент случайного вектора - это действительное число.

Случайные вектора часто используют в качестве базовой реализации различных видов совокупности случайных величин, например, случайные матрицы, случайное дерево, случайная последовательность, случайных процессов т. д.

Более формально, многомерной случайной величиной является столбец вектора $\mathbf{X}=(X_1,...,X_n{)}^T$$\mathbf {X} =(X_{1},...,X_{n})^{T}$ (или ее транспонированная матрица, которая представляет собой вектор-строку), компонентами которого являются скалярные значения случайных величин одном и том же вероятностном пространстве $(\mathrm{\Omega <!--\; \Omega \; -->},\mathcal{F},P)$$(\Omega ,{\mathcal {F}},P)$, где $\mathrm{\Omega <!--\; \Omega \; -->}$$\Omega$ это пространство элементарных событий, $\mathcal{F}$${\mathcal {F}}$ это сигма-алгебра (совокупность всех событий), и $P$$P$ есть вероятность измерения (функция, возвращающая вероятность каждого события ).

Распределение вероятностейПравить

Основная статья: Распределение вероятностей

Каждый случайный вектор порождает вероятностную меру на ${\mathbb{R}}^n$$\mathbb {R} ^{n}$  с борелевской алгеброй, лежащей в основе сигма-алгебры. Эта мера также известна как совместное распределение вероятностей, совместное распределение или многомерное распределение случайного вектора.

Распределение каждой из компонент случайных величин $X_i$$X_{i}$  называются маргинальными распределениями. Условное распределение вероятностей  $X_i$$X_{i}$  учитывая $X_j$$X_{j}$  является вероятностный распределением $X_i$$X_{i}$  когда $X_j$$X_{j}$  известно как конкретное значение.

Операции на случайных векторахПравить

Случайные вектора могут быть подвергнуты тем же алгебраическим операциям как и в случае с неслучайными векторами: сложение, вычитание, умножение на скаляр, и скалярное произведение.

Аналогично, новый случайный вектор $\mathbf{Y}$$\mathbf {Y}$  можно определить, применяя аффинное преобразование $g:<!--\; :\; -->{\mathbb{R}}^n\to <!--\; \to \; -->{\mathbb{R}}^n$$g\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}$  для случайного вектора $\mathbf{X}$$\mathbf {X}$ :

$\mathbf{Y}=\mathcal{A}\mathbf{X}+b$$\mathbf {Y} ={\mathcal {A}}\mathbf {X} +b$ , где $\mathcal{A}$$\mathcal{A}$  это матрица $n\times <!--\; \times \; -->n$$n\times n$   и $b$$b$  это вектор состоящий из колонки $n\times <!--\; \times \; -->1$$n\times 1$ 

Если $\mathcal{A}$$\mathcal{A}$  обратима и вероятностная плотность  $\mathbf{X}$$\textstyle \mathbf {X}$  равна $f_{\mathbf{X}}$$f_{\mathbf {X} }$ ,тогда вероятностная плотность  $\mathbf{Y}$$\mathbf {Y}$ 

$f_{\mathbf{Y}}(y)=\frac{f_{\mathbf{X}}({\mathcal{A}}^{-<!--\; -\; -->1}(y-<!--\; -\; -->b))}{|det\mathcal{A}|}$$f_{\mathbf {Y} }(y)={\frac {f_{\mathbf {X} }({\mathcal {A}}^{-1}(y-b))}{|\det {\mathcal {A}}|}}$ .

Математическое ожидание, ковариация и кросс-ковариацияПравить

Основные статьи: Математическое ожидание и Ковариация

Математическое ожидание или среднее значение случайного вектора $\mathbf{X}$$\mathbf {X}$   фиксированный вектор $\mathrm{E}<!--\; \; -->[\mathbf{X}]$$\operatorname {E} [\mathbf {X} ]$ , элементы которого являются ожидаемыми значениями соответствующих случайных величин.

Ковариационная матрица (Также называется дисперсионно-ковариационной матрицей) это случайный вектор $n\times <!--\; \times \; -->1$$n \times 1$  матрицей которого является матрица размером $n\times <!--\; \times \; -->n$$n\times n$  в которой (i,j)^ый элемент это ковариация между  i ^ой и  j ^ой случайной величиной. Ковариационная матрица - это математическое ожидание, элемент за элементом, матрицы размером $n\times <!--\; \times \; -->n$$n\times n$  полученной умножением матриц $[\mathbf{X}-<!--\; -\; -->\mathrm{E}<!--\; \; -->[\mathbf{X}]][\mathbf{X}-<!--\; -\; -->\mathrm{E}<!--\; \; -->[\mathbf{X}]{]}^T$$[\mathbf {X} -\operatorname {E} [\mathbf {X} ]][\mathbf {X} -\operatorname {E} [\mathbf {X} ]]^{T}$ , где верхний индекс T относится к транспонированию указанного вектора:

$\mathrm{Var}<!--\; \; -->[\mathbf{X}]=\mathrm{E}<!--\; \; -->[(\mathbf{X}-<!--\; -\; -->\mathrm{E}<!--\; \; -->[\mathbf{X}])(\mathbf{X}-<!--\; -\; -->\mathrm{E}<!--\; \; -->[\mathbf{X}]{)}^T].$$\operatorname {Var} [\mathbf {X} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{T}].$ 

В дополнение к этому, $\mathbf{X}$$\mathbf {X}$  и $\mathbf{Y}$$\mathbf {Y}$  ($\mathbf{X}$$\mathbf {X}$  имеет $n$$n$  элементов и $\mathbf{Y}$$\mathbf {Y}$  имеет $p$$p$  элементов ) является матрицей $n\times <!--\; \times \; -->p$$n\times p$ 

$\mathrm{Cov}<!--\; \; -->[\mathbf{X},\mathbf{Y}]=\mathrm{E}<!--\; \; -->[(\mathbf{X}-<!--\; -\; -->\mathrm{E}<!--\; \; -->[\mathbf{X}])(\mathbf{Y}-<!--\; -\; -->\mathrm{E}<!--\; \; -->[\mathbf{Y}]{)}^T],$$\operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{T}],$ 

Где опять указанное матричное ожидание принимается поэтапно в матрице. В ней (i,j)^ый элемент это ковариация между i ^ым элементом матрицы $\mathbf{X}$$\mathbf {X}$  и j ^ым элементом матрицы $\mathbf{Y}.$$\mathbf {Y} .$  Матрица кроссковариации $\mathrm{Cov}<!--\; \; -->[\mathbf{Y},\mathbf{X}]$$\operatorname {Cov} [\mathbf {Y} ,\mathbf {X} ]$  легко получается транспонированием полученной $\mathrm{Cov}<!--\; \; -->[\mathbf{X},\mathbf{Y}]$$\operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]$ .

Дополнительные свойстваПравить

Ожидание квадратичной формыПравить

Возьмем математическое ожидание квадратичной формы в случайном векторе X следующим образом:

$\mathrm{E}<!--\; \; -->(X^{T}AX)=[\mathrm{E}<!--\; \; -->(X){]}^{T}A[\mathrm{E}<!--\; \; -->(X)]+\mathrm{tr}<!--\; \; -->(AC),$$\operatorname {E} (X^{T}AX)=[\operatorname {E} (X)]^{T}A[\operatorname {E} (X)]+\operatorname {tr} (AC),$ 

Где C - ковариационная матрица X, а tr - это след матрицы, то есть сумма элементов на его главной диагонали (от верхнего левого к правому нижнему). Так как квадратичная форма является скаляром, то это и ее математическое ожидание.

Доказательство: Пусть $\mathbf{z}$$\mathbf {z}$  - случайный вектор размера $m\times <!--\; \times \; -->1$$m \times 1$  с $\mathrm{E}<!--\; \; -->[\mathbf{z}]=\mathrm{\mu <!--\; \mu \; -->}$$\operatorname {E} [\mathbf {z} ]=\mu$  и $\mathrm{Cov}<!--\; \; -->[\mathbf{z}]=V$$\operatorname {Cov} [\mathbf {z} ]=V$  и пусть $A$$A$  - нестохастическая матрица размера  $m\times <!--\; \times \; -->m$$m \times m$ 

Тогда, основываясь на базовой формуле ковариации , если мы обозначим ${\mathbf{z}}^{\prime }=\mathbf{X}$$\mathbf {z} '=\mathbf {X}$  и ${\mathbf{z}}^{\prime }{A}^{\prime }=\mathbf{Y}$$\mathbf {z} 'A'=\mathbf {Y}$  ( где в дальнейшем основной знак ${}^{\prime }$$'$  обозначает транспонирование), мы видим:

$\mathrm{Cov}<!--\; \; -->[\mathbf{X},\mathbf{Y}]=\mathrm{E}<!--\; \; -->[\mathbf{X}{\mathbf{Y}}^{\prime }]-<!--\; -\; -->\mathrm{E}<!--\; \; -->[\mathbf{X}]\mathrm{E}<!--\; \; -->[\mathbf{Y}{]}^{\prime }$$\operatorname {Cov} [\mathbf {X} ,\mathbf {Y} ]=\operatorname {E} [\mathbf {X} \mathbf {Y} ']-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {Y} ]'$ 

Следовательно,

${\begin{aligned}E(XY')&=\operatorname {Cov} (X,Y)+E(X)E(Y)'\\E(z'Az)&=\operatorname {Cov} (z',z'A')+E(z')E(z'A')'\\&=\operatorname {Cov} (z',z'A')+\mu '(\mu 'A')'\\&=\operatorname {Cov} (z',z'A')+\mu 'A\mu ,\end{aligned}}$ 

что приводит нас к

$\mathrm{Cov}<!--\; \; -->(z^{\prime },z^{\prime }{A}^{\prime })=\mathrm{tr}<!--\; \; -->(AV).$$\operatorname {Cov} (z',z'A')=\operatorname {tr} (AV).$ 

Это верно в связи с тем, что при трассировке без изменения конечного результата можно циклически переставлять матрицы (например, tr (AB) = tr (BA)).

Мы видим, что ковариация

${\begin{aligned}\operatorname {Cov} (z',z'A')&=E\left[\left(z'-E(z')\right)\left(z'A'-E\left(z'A'\right)\right)'\right]\\&=E\left[(z'-\mu ')(z'A'-\mu 'A')'\right]\\&=E\left[(z-\mu )'(Az-A\mu )\right].\end{aligned}}$ 

и затем

${\left(z-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}\right)}^{\prime }\left(Az-<!--\; -\; -->A\mathrm{\mu <!--\; \mu \; -->}\right)$$\left({z-\mu }\right)'\left({Az-A\mu }\right)$ 

является скаляром, тогда

$(z-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^{\prime }(Az-<!--\; -\; -->A\mathrm{\mu <!--\; \mu \; -->})=\mathrm{tr}<!--\; \; -->\left[(z-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^{\prime }(Az-<!--\; -\; -->A\mathrm{\mu <!--\; \mu \; -->})\right]=\mathrm{tr}<!--\; \; -->\left[(z-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^{\prime }A(z-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})\right]$$(z-\mu )'(Az-A\mu )=\operatorname {tr} \left[{(z-\mu )'(Az-A\mu )}\right]=\operatorname {tr} \left[(z-\mu )'A(z-\mu )\right]$ 

тривиально. Используя перестановку, получим:

$\mathrm{tr}<!--\; \; -->\left[(z-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^{\prime }A(z-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})\right]=\mathrm{tr}<!--\; \; -->\left[A(z-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->})(z-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}{)}^{\prime }\right],$$\operatorname {tr} \left[{(z-\mu )'A(z-\mu )}\right]=\operatorname {tr} \left[{A(z-\mu )(z-\mu )'}\right],$ 

И, включив это в исходную формулу, получим:

${\begin{aligned}\operatorname {Cov} \left({z',z'A'}\right)&=E\left[{\left({z-\mu }\right)'(Az-A\mu )}\right]\\&=E\left[\operatorname {tr} \left[A(z-\mu )(z-\mu )'\right]\right]\\&=\operatorname {tr} \left[{A\cdot E\left[(z-\mu )(z-\mu )'\right]}\right]\\&=\operatorname {tr} [AV].\end{aligned}}$ 

Математическое ожидание произведения двух разных квадратичных формПравить

Возьмем математическое ожидание произведения двух разных квадратичных форм в гауссовском случайном векторе X с нулевым средним следующим образом:

$\mathrm{E}<!--\; \; -->[X^{T}AX][X^{T}BX]=2\mathrm{tr}<!--\; \; -->(ACBC)+\mathrm{tr}<!--\; \; -->(AC)\mathrm{tr}<!--\; \; -->(BC)$$\operatorname {E} [X^{T}AX][X^{T}BX]=2\operatorname {tr} (ACBC)+\operatorname {tr} (AC)\operatorname {tr} (BC)$ 

Где снова C является ковариационной матрицей X. Опять же, поскольку обе квадратичные формы являются скалярами и, следовательно, их произведение является скаляром, математическое ожидание их произведения также является скаляром.

Векторный временной рядПравить

Эволюцию k × 1 случайного вектора $\mathbf{X}$$\mathbf {X}$  во времени можно смоделировать как векторную авторегрессию (VAR) следующим образом: