Ковариационная матрица

Ковариацио́нная ма́трица (или ма́трица ковариа́ций) в теории вероятностей — это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов.

Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.

Ковариационная матрица случайного вектора является многомерным аналогом дисперсии случайной величины для случайных векторов. Матрица ковариаций двух случайных векторов — многомерный аналог ковариации между двумя случайными величинами.

В случае нормально распределённого случайного вектора ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение (по аналогии с тем, что математическое ожидание и дисперсия нормально распределённой случайной величины полностью определяют её распределение)

ОпределенияПравить

• Пусть $\mathbf{X}:\mathrm{\Omega <!--\; \Omega \; -->}\to <!--\; \to \; -->{\mathbb{R}}^n$${\mathbf {X}}:\Omega \to {\mathbb {R}}^{n}$ , $\mathbf{Y}:\mathrm{\Omega <!--\; \Omega \; -->}\to <!--\; \to \; -->{\mathbb{R}}^m$${\mathbf {Y}}:\Omega \to {\mathbb {R}}^{m}$  — два случайных вектора размерности $n$$n$  и $m$$m$  соответственно. Пусть также случайные величины $X_i,Y_j,i=1,\dots <!--\; \dots \; -->,n,j=1,\dots <!--\; \dots \; -->,m$$X_{i},Y_{j},\;i=1,\ldots ,n,\;j=1,\ldots ,m$  имеют конечный второй момент (дисперсию), то есть $X_i,Y_j\in <!--\; \in \; -->L^2$$X_{i},Y_{j}\in L^{2}$ . Тогда матрицей ковариации векторов $\mathbf{X},\mathbf{Y}$${\mathbf {X}},{\mathbf {Y}}$  называется

$\mathrm{\Sigma <!--\; \Sigma \; -->}=\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X},\mathbf{Y})=\mathbb{E}\left[(\mathbf{X}-<!--\; -\; -->\mathbb{E}\mathbf{X})(\mathbf{Y}-<!--\; -\; -->\mathbb{E}\mathbf{Y}{)}^{\mathrm{\top <!--\; \top \; -->}}\right],$$\Sigma ={\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbb {E}}\left[({\mathbf {X}}-{\mathbb {E}}{\mathbf {X}})({\mathbf {Y}}-{\mathbb {E}}{\mathbf {Y}})^{{\top }}\right],$ 

то есть

$\mathrm{\Sigma <!--\; \Sigma \; -->}=({\mathrm{\sigma <!--\; \sigma \; -->}}_{ij})$$\Sigma =(\sigma _{{ij}})$ ,

где

${\mathrm{\sigma <!--\; \sigma \; -->}}_{ij}=\mathrm{c}\mathrm{o}\mathrm{v}(X_i,Y_j)\equiv <!--\; \equiv \; -->\mathbb{E}\left[(X_i-<!--\; -\; -->\mathbb{E}{X}_i)(Y_j-<!--\; -\; -->\mathbb{E}{Y}_j)\right],i=1,\dots <!--\; \dots \; -->,n,j=1,\dots <!--\; \dots \; -->,m$$\sigma _{{ij}}={\mathrm {cov}}(X_{i},Y_{j})\equiv {\mathbb {E}}\left[(X_{i}-{\mathbb {E}}X_{i})(Y_{j}-{\mathbb {E}}Y_{j})\right],\;i=1,\ldots ,n,\;j=1,\ldots ,m$ ,

$\mathbb{E}$${\mathbb {E}}$  — математическое ожидание.

• Если $\mathbf{X}\equiv <!--\; \equiv \; -->\mathbf{Y}$${\mathbf {X}}\equiv {\mathbf {Y}}$ , то $\mathrm{\Sigma <!--\; \Sigma \; -->}$$\Sigma$  называется матрицей ковариации вектора $\mathbf{X}$$\mathbf {X}$  и обозначается $\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X})$${\mathrm {cov}}({\mathbf {X}})$ . Такая матрица ковариации является обобщением дисперсии для многомерной случайной величины, а её след — скалярным выражением дисперсии многомерной случайной величины. В связи с этим используется также обозначение $V(X)$$V(X)$  — дисперсия случайного вектора. Собственные векторы и собственные числа этой матрицы позволяют оценить размеры и форму облака распределения такой случайной величины, аппроксимировав его эллипсоидом (или эллипсом в двумерном случае).

Свойства матриц ковариацииПравить

• Сокращённая формула для вычисления матрицы ковариации:

$\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X})=\mathbb{E}\left[\mathbf{X}{\mathbf{X}}^{\mathrm{\top <!--\; \top \; -->}}\right]-<!--\; -\; -->\mathbb{E}[\mathbf{X}]\cdot <!--\; \cdot \; -->\mathbb{E}\left[{\mathbf{X}}^{\mathrm{\top <!--\; \top \; -->}}\right]$${\mathrm {cov}}({\mathbf {X}})={\mathbb {E}}\left[{\mathbf {X}}{\mathbf {X}}^{{\top }}\right]-{\mathbb {E}}[{\mathbf {X}}]\cdot {\mathbb {E}}\left[{\mathbf {X}}^{{\top }}\right]$ .

• Матрица ковариации случайного вектора неотрицательно определена:

$\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X})\ge <!--\; \ge \; -->0$${\mathrm {cov}}({\mathbf {X}})\geq 0$ .

• Смена масштаба:

$\mathrm{c}\mathrm{o}\mathrm{v}\left({\mathbf{a}}^{\mathrm{\top <!--\; \top \; -->}}\mathbf{X}\right)={\mathbf{a}}^{\mathrm{\top <!--\; \top \; -->}}\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X})\mathbf{a},\mathrm{\forall <!--\; \forall \; -->}\mathbf{a}\in <!--\; \in \; -->{\mathbb{R}}^n$${\mathrm {cov}}\left({\mathbf {a}}^{{\top }}{\mathbf {X}}\right)={\mathbf {a}}^{{\top }}{\mathrm {cov}}({\mathbf {X}}){\mathbf {a}},\;\forall {\mathbf {a}}\in {\mathbb {R}}^{n}$ .

• Если случайные векторы $\mathbf{X}$$\mathbf {X}$  и $\mathbf{Y}$$\mathbf {Y}$  нескоррелированы ($\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X},\mathbf{Y})=\mathbf{0}$${\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbf {0}}$ ), то

$\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X}+\mathbf{Y})=\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X})+\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{Y})$${\mathrm {cov}}({\mathbf {X}}+{\mathbf {Y}})={\mathrm {cov}}({\mathbf {X}})+{\mathrm {cov}}({\mathbf {Y}})$ .

• Матрица ковариации аффинного преобразования:

$\mathrm{c}\mathrm{o}\mathrm{v}\left(\mathbf{A}\mathbf{X}+\mathbf{b}\right)=\mathbf{A}\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X}){\mathbf{A}}^{\mathrm{\top <!--\; \top \; -->}}$${\mathrm {cov}}\left({\mathbf {A}}{\mathbf {X}}+{\mathbf {b}}\right)={\mathbf {A}}{\mathrm {cov}}({\mathbf {X}}){\mathbf {A}}^{{\top }}$ ,

где $\mathbf{A}$$\mathbf {A}$  — произвольная матрица размера $n\times <!--\; \times \; -->n$$n\times n$ , а $\mathbf{b}\in <!--\; \in \; -->{\mathbb{R}}^n$${\mathbf {b}}\in {\mathbb {R}}^{n}$ .

• Перестановка аргументов:

$\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X},\mathbf{Y})=\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{Y},\mathbf{X}{)}^{\mathrm{\top <!--\; \top \; -->}}$${\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathrm {cov}}({\mathbf {Y}},{\mathbf {X}})^{{\top }}$ 

• Матрица ковариации аддитивна по каждому аргументу:

$\mathrm{c}\mathrm{o}\mathrm{v}({\mathbf{X}}_1+{\mathbf{X}}_2,\mathbf{Y})=\mathrm{c}\mathrm{o}\mathrm{v}({\mathbf{X}}_1,\mathbf{Y})+\mathrm{c}\mathrm{o}\mathrm{v}({\mathbf{X}}_2,\mathbf{Y})$${\mathrm {cov}}({\mathbf {X}}_{1}+{\mathbf {X}}_{2},{\mathbf {Y}})={\mathrm {cov}}({\mathbf {X}}_{1},{\mathbf {Y}})+{\mathrm {cov}}({\mathbf {X}}_{2},{\mathbf {Y}})$ ,

$\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X},{\mathbf{Y}}_1+{\mathbf{Y}}_2)=\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X},{\mathbf{Y}}_1)+\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X},{\mathbf{Y}}_2)$${\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}}_{1}+{\mathbf {Y}}_{2})={\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}}_{1})+{\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}}_{2})$ .

• Если $\mathbf{X}$$\mathbf {X}$  и $\mathbf{Y}$$\mathbf {Y}$  независимы, то

$\mathrm{c}\mathrm{o}\mathrm{v}(\mathbf{X},\mathbf{Y})=\mathbf{0}$${\mathrm {cov}}({\mathbf {X}},{\mathbf {Y}})={\mathbf {0}}$ .

Условная ковариационная матрицаПравить

Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание (функция регрессии) и условная ковариационная матрица.

Пусть случайные векторы $X$$X$  и $Y$$Y$  имеют совместное нормальное распределение с математическими ожиданиями ${\mathrm{\mu <!--\; \mu \; -->}}_X,{\mathrm{\mu <!--\; \mu \; -->}}_Y$$\mu _{X},\mu _{Y}$ , ковариационными матрицами $V_X,V_Y$$V_{X},V_{Y}$  и матрицей ковариаций $C_{XY}$$C_{{XY}}$ . Это означает, что объединенный случайный вектор $\mathit{Z}=\left[\begin{array}{c}\mathit{X}\\ \mathit{Y}\end{array}\right]$${\boldsymbol Z}={\begin{bmatrix}{\boldsymbol X}\\{\boldsymbol Y}\end{bmatrix}}$  подчиняется многомерному нормальному распределению с вектором математического ожидания ${\mathit{\mu <!--\; \mu \; -->}}_Z=\left[\begin{array}{c}{\mathit{\mu <!--\; \mu \; -->}}_X\\ {\mathit{\mu <!--\; \mu \; -->}}_Y\end{array}\right],$${\boldsymbol \mu }_{{Z}}={\begin{bmatrix}{\boldsymbol \mu }_{X}\\{\boldsymbol \mu }_{Y}\end{bmatrix}},$  и ковариационной матрицей которую можно представить в виде следующей блочной матрицы

${\boldsymbol V}_{Z}={\begin{bmatrix}{\boldsymbol V}_{X}&{\boldsymbol C}_{{XY}}\\{\boldsymbol C}_{{YX}}&{\boldsymbol V}_{{Y}}\end{bmatrix}}$  где $C_{YX}=C_{XY}^T$$C_{{YX}}=C_{{XY}}^{T}$ 

Тогда случайный вектор $Y$$Y$  при заданном значении случайного вектора $X$$X$  имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей

$E(Y|X=x)={\mathrm{\mu <!--\; \mu \; -->}}_Y+C_{YX}{V}_X^{-<!--\; -\; -->1}(x-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_X),V(Y|X=x)=V_Y-<!--\; -\; -->C_{YX}{V}_X^{-<!--\; -\; -->1}{C}_{XY}$$E(Y|X=x)=\mu _{Y}+C_{{YX}}V_{X}^{{-1}}(x-\mu _{X}),\qquad V(Y|X=x)=V_{Y}-C_{{YX}}V_{X}^{{-1}}C_{{XY}}$ 

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора $Y$$Y$  от заданного значения x случайного вектора $X$$X$ ), причем матрица $C_{XY}{V}^{-<!--\; -\; -->1}$$C_{{XY}}V^{{-1}}$  - матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора $Y$$Y$  на вектор $X$$X$ .

В случае если $Y$$Y$  - обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица - это условная дисперсия (по существу - случайной ошибки регрессии $Y$$Y$  на вектор $X$$X$ )