Теорема Карунена — Лоэва

Важным принципиальным вопросом теории дискретизации является вопрос об объёме дискретного описания сигналов, то есть о количестве $N$$N$ базисных функций, используемых для представления:

$a(t)=\underset{k=0}{\overset{N-<!--\; -\; -->1}{\sum <!--\; \sum \; -->}}{\mathrm{\alpha <!--\; \alpha \; -->}}_k{\mathrm{\phi <!--\; \phi \; -->}}_k(t)$$a(t)=\sum _{{k=0}}^{{N-1}}\alpha _{{k}}\varphi _{{k}}(t)$.

Чтобы найти оптимальный базис, нужно определить класс сигналов, для которого он отыскивается, а также задать точность восстановления для этого класса. При статистическом подходе к описанию сигналов оптимальным $N$$N$ — мерным базисом для представления отдельных реализаций сигналов обычно считается базис, при котором норма ошибки, усредненная по ансамблю реализаций, минимальна. В этом случае необходимые и достаточные условия минимума нормы ошибки представления сигнала в виде суммы базисных функций определяет теорема Карунена-Лоэва.

Популярная формулировкаПравить

Минимальное значение нормы ошибки представления сигналов на интервале протяженностью $T$$T$  достигается при использовании в качестве базиса собственных функций оператора, ядром которого является корреляционная функция сигналов $R_a(t,\mathrm{\tau <!--\; \tau \; -->})$$R_{{a}}(t,\tau )$ :

${\int <!--\; \int \; -->}_{-<!--\; -\; -->\frac{T}{2}}^{\frac{T}{2}}{R}_a(t,\mathrm{\tau <!--\; \tau \; -->}){\mathrm{\phi <!--\; \phi \; -->}}_k(\mathrm{\tau <!--\; \tau \; -->})d\mathrm{\tau <!--\; \tau \; -->}={\mathrm{\lambda <!--\; \lambda \; -->}}_k{\mathrm{\phi <!--\; \phi \; -->}}_k(t)$$\int _{{-{\frac {T}{2}}}}^{{{\frac {T}{2}}}}R_{{a}}(t,\tau )\varphi _{{k}}(\tau )d\tau =\lambda _{{k}}\varphi _{{k}}(t)$ ,

соответствующих $N$$N$  наибольшим собственным значениям. При этом норма ошибки равна:

$\Vert <!--\; \Vert \; -->\mathrm{ϵ<!--\; ϵ\; -->}{\Vert <!--\; \Vert \; -->}_{min}^2=\Vert <!--\; \Vert \; -->a(t)-<!--\; -\; -->\underset{k=0}{\overset{N-<!--\; -\; -->1}{\sum <!--\; \sum \; -->}}{\mathrm{\alpha <!--\; \alpha \; -->}}_k{\mathrm{\phi <!--\; \phi \; -->}}_k(t){\Vert <!--\; \Vert \; -->}_{min}^2=\underset{k=N}{\overset{\mathrm{\infty <!--\; \infty \; -->}}{\sum <!--\; \sum \; -->}}{\mathrm{\lambda <!--\; \lambda \; -->}}_k$$\|\epsilon \|_{{min}}^{{2}}=\|a(t)-\sum _{{k=0}}^{{N-1}}\alpha _{{k}}\varphi _{{k}}(t)\|_{{min}}^{{2}}=\sum _{{k=N}}^{{\infty }}\lambda _{{k}}$ .

Такое разложение является разложением Карунена-Лоэва.

ПрименениеПравить

В теории случайных процессов теорема Карунена-Лоэва (названа в честь Кари Карунена и Мишеля Лоэва) — представление случайного процесса в виде бесконечной линейной комбинации ортогональных функций, аналогичное представлению рядов Фурье — последовательному представлению функций на ограниченном интервале. В отличие от рядов Фурье, где коэффициенты являются действительными числами и базис представления состоит из синусоидальных функций (то есть, из функций синус и косинус с разными частотами), коэффициенты в теореме Карунена-Лоэва — случайные переменные, и базис представления зависит от процесса. Ортогональные базисные функции, использованные в этом представлении, определяет функция ковариации процесса. Если мы рассматриваем стохастический процесс как случайную функцию F, то есть процесс, в котором функция на интервале [a, b] принимает значение F, то эта теорема может рассматриваться как случайное ортонормальное разложение F.

Центрированный случайный процесс {X_t}_{t ∈ [a, b]} (где центрирование означает, что математические ожидания E(X_t) существуют и равны нулю для всех значений параметра t из [a, b]), удовлетворяющий техническому условию непрерывности, допускает разложение следующего вида:

${\mathbf{X}}_t=\underset{k=1}{\overset{\mathrm{\infty <!--\; \infty \; -->}}{\sum <!--\; \sum \; -->}}{\mathbf{Z}}_k{e}_k(t).$${\mathbf {X}}_{t}=\sum _{{k=1}}^{\infty }{\mathbf {Z}}_{k}e_{k}(t).$ 

где Z_k — взаимнонекоррелированые случайные величины и функции e_k — непрерывные вещественные функции на [a, b], ортогональные в L² [a, b]. В случае нецентрированного процесса имеет место аналогичное разложение, получаемое разложением функции математического ожидания в базисе e_k.

Если процесс ${\mathbf{X}}_t$${\mathbf {X}}_{t}$  гауссовский, то случайные величины Z_k — тоже гауссовские и являются независимыми. Этот результат обобщает преобразования Карунена-Лоэва. Важным примером центрированного случайного процесса на интервале [0,1] является винеровский процесс, и теорема Карунена-Лоэва может быть использована для получения канонического ортогонального представления. В этом случае разложение состоит из синусоидальных функций.

Приведенные выше разложения в также известны как разложения или декомпозиция Карунена-Лоэва (эмпирическая версия, то есть, с коэффициентами из исходных числовых данных), как анализ главных компонент, собственное ортогональное разложение или преобразование Хотеллинга.

ФормулировкаПравить

Сформулируем результат в терминах комплекснозначных стохастических процессов. Результаты могут быть применены к вещественнозначным процессам без модификаций, вспоминая, что число, комплексно-сопряженное с действительным числом, совпадает с ним самим.

Для случайных элементов X и Y скалярное произведение определяется формулой

$⟨<!--\; ⟨\; -->\mathbf{X}|\mathbf{Y}⟩<!--\; ⟩\; -->=\mathrm{E}<!--\; \; -->({\mathbf{X}}^{\mathbf{\ast <!--\; \ast \; -->}}\mathbf{Y})$$\langle {\mathbf {X}}|{\mathbf {Y}}\rangle =\operatorname {E}({\mathbf {X^{*}}}{\mathbf {Y}})$ 

где * обозначает операцию комплексного сопряжения.

Статистики второго порядкаПравить

Скалярное произведение корректно определено, если как $X$$X$ , так и $Y$$Y$  имеют конечные вторые моменты, или, что то же самое, если они оба квадратично интегрируемы. Отметим, что скалярное произведение связано с ковариацией и корреляцией. В частности, для случайных переменных со средним нулевым значением, ковариация и скалярное произведение совпадают. Функция автоковариации $K_{\mathrm{X}\mathrm{X}}$$K_{{\mathrm {XX}}}$ 

$K_{\mathrm{X}\mathrm{X}}(t,s)=\mathrm{Cov}<!--\; \; -->[X(t),X(s)]=⟨<!--\; ⟨\; -->{\mathbf{X}}_t|{\mathbf{X}}_s⟩<!--\; ⟩\; -->$$K_{{\mathrm {XX}}}(t,s)=\operatorname {Cov}[X(t),X(s)]=\langle {\mathbf {X}}_{t}|{\mathbf {X}}_{s}\rangle$ 

$=\mathrm{E}\{[X(t)-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_X(t){]}^{\ast <!--\; \ast \; -->}[X(s)-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_X(s)]\}$$=\mathrm {E} \{[X(t)-\mu _{X}(t)]^{*}[X(s)-\mu _{X}(s)]\}$ 

$=\mathrm{E}\{X^{\ast <!--\; \ast \; -->}(t)X(s)\}-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_X^{\ast <!--\; \ast \; -->}(t){\mathrm{\mu <!--\; \mu \; -->}}_X(s)$$=\mathrm {E} \{X^{*}(t)X(s)\}-\mu _{X}^{*}(t)\mu _{X}(s)$ 

$=R_{\mathrm{X}\mathrm{X}}(t,s)-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_X^{\ast <!--\; \ast \; -->}(t){\mathrm{\mu <!--\; \mu \; -->}}_X(s).$$=R_{\mathrm {XX} }(t,s)-\mu _{X}^{*}(t)\mu _{X}(s).$ 

Если процесс {X_t}_t центрированный, то

${\mathrm{\mu <!--\; \mu \; -->}}_X(t)=0$$\mu _{X}(t)=0$ 

для всех t. Таким образом, автоковариация K_XX равна автокорреляции R_XX:

$K_{\mathrm{X}\mathrm{X}}(t,s)=R_{\mathrm{X}\mathrm{X}}(t,s).$$K_{\mathrm {XX} }(t,s)=R_{\mathrm {XX} }(t,s).$ 

Отметим, что если {X_t}_t центрированный и t₁, ≤ t₂, …, ≤ t_N являются точками на интервале [a, b], следовательно

$\underset{k,\mathrm{\ell <!--\; \ell \; -->}}{\sum <!--\; \sum \; -->}{\mathrm{Cov}}_{\mathbf{X}}<!--\; \; -->(t_k,t_{\mathrm{\ell <!--\; \ell \; -->}})=\mathrm{Var}<!--\; \; -->\left(\underset{k=1}{\overset{N}{\sum <!--\; \sum \; -->}}{\mathbf{X}}_k\right)\ge <!--\; \ge \; -->0.$$\sum _{{k,\ell }}\operatorname {Cov}_{{{\mathbf {X}}}}(t_{k},t_{\ell })=\operatorname {Var}\left(\sum _{{k=1}}^{N}{\mathbf {X}}_{k}\right)\geq 0.$ 

Формулировка теоремыПравить

Теорема. Рассмотрим центрированный случайный процесс $\{{\mathbf{X}}_t\}$$\{{\mathbf {X}}_{t}\}$ , индексированный $t$$t$  на интервале $[a,b]$$[a,b]$  с ковариационной функцией ${\mathrm{C}\mathrm{o}\mathrm{v}}_{\mathbf{X}}$${\mathrm {Cov}}_{{{\mathbf {X}}}}$ . Предположим, что ковариационная функция ${\mathrm{C}\mathrm{o}\mathrm{v}}_{\mathbf{X}}(t,s)$${\mathrm {Cov}}_{{{\mathbf {X}}}}(t,s)$  непрерывна по совокупности переменных $t,s$$t,s$ . Тогда ${\mathrm{C}\mathrm{o}\mathrm{v}}_{\mathbf{X}}$${\mathrm {Cov}}_{{{\mathbf {X}}}}$  — положительно определенное ядро, и по теореме Мерсера интегральный оператор $T$$T$  в $L^2[a,b]$$L^{2}[a,b]$  (близкой к мере Лебега на $[a,b]$$[a,b]$ ) имеет ортонормированный базис из собственных векторов. Пусть $\{e_i\}$$\{e_{i}\}$  являются собственными векторами $T$$T$ , соответствующими ненулевым собственным значениям и

${\mathbf{Z}}_i={\int <!--\; \int \; -->}_a^b{\mathbf{X}}_t{e}_i(t)dt.$${\mathbf {Z}}_{i}=\int _{a}^{b}{\mathbf {X}}_{t}e_{i}(t)dt.$ 

Тогда $Z_i$$Z_{i}$  — центрированные ортогональные случайные величины и

${\mathbf{X}}_t=\underset{i=1}{\overset{\mathrm{\infty <!--\; \infty \; -->}}{\sum <!--\; \sum \; -->}}{e}_i(t){\mathbf{Z}}_i$${\mathbf {X}}_{t}=\sum _{{i=1}}^{\infty }e_{i}(t){\mathbf {Z}}_{i}$ 

ряд сходится в среднем квадратичном, а также равномерно по $t$$t$ . Кроме того

$\mathrm{Var}<!--\; \; -->({\mathbf{Z}}_i)=\mathrm{E}<!--\; \; -->({\mathbf{Z}}_i^2)={\mathrm{\lambda <!--\; \lambda \; -->}}_i.$$\operatorname {Var}({\mathbf {Z}}_{i})=\operatorname {E}({\mathbf {Z}}_{i}^{2})=\lambda _{i}.$ 

где ${\mathrm{\lambda <!--\; \lambda \; -->}}_i$$\lambda _{i}$  собственное значение, соответствующее собственному вектору $e_i$$e_{i}$ .

Суммы КошиПравить

В формулировке теоремы интеграл в определении $Z_i$$Z_{i}$  можно понимать как предел в среднем сумм Коши случайных величин

$\underset{k=0}{\overset{\mathrm{\ell <!--\; \ell \; -->}-<!--\; -\; -->1}{\sum <!--\; \sum \; -->}}{\mathbf{X}}_{{\mathrm{\xi <!--\; \xi \; -->}}_k}{e}_i({\mathrm{\xi <!--\; \xi \; -->}}_k)(t_{k+1}-<!--\; -\; -->t_k),$$\sum _{{k=0}}^{{\ell -1}}{\mathbf {X}}_{{\xi _{k}}}e_{i}(\xi _{k})(t_{{k+1}}-t_{k}),$ 

где

$a=t_0\le <!--\; \le \; -->{\mathrm{\xi <!--\; \xi \; -->}}_0\le <!--\; \le \; -->t_1\le <!--\; \le \; -->\cdots <!--\; \cdots \; -->\le <!--\; \le \; -->{\mathrm{\xi <!--\; \xi \; -->}}_{\mathrm{\ell <!--\; \ell \; -->}-<!--\; -\; -->1}\le <!--\; \le \; -->t_n=b$$a=t_{0}\leq \xi _{0}\leq t_{1}\leq \cdots \leq \xi _{{\ell -1}}\leq t_{n}=b$ 

Особый случай: гауссовское распределениеПравить

Так как предел в среднем квадратичном из совместно гауссовских случайных величин является гауссовским и совместно гауссовские случайные (центрированные) величины независимы тогда и только тогда, когда они являются ортогональными, мы можем также заключить:

Теорема. Случайные величины $Z_i$$Z_{i}$  имеют гауссовское распределение и являются независимыми, если первоначальный процесс {X_t}_t тоже является гауссовским.

В гауссовском случае, поскольку случайные величины $Z_i$$Z_{i}$  являются независимыми, мы можем быть уверены в том, что:

$\underset{N\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}}{lim}\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}{e}_i(t){\mathbf{Z}}_i(\mathrm{\omega <!--\; \omega \; -->})={\mathbf{X}}_t(\mathrm{\omega <!--\; \omega \; -->})$$\lim _{{N\rightarrow \infty }}\sum _{{i=1}}^{N}e_{i}(t){\mathbf {Z}}_{i}(\omega )={\mathbf {X}}_{t}(\omega )$ 

почти наверное.

Отметим, что обобщая теорему Мерсера, мы можем заменить интервал $[a,b]$$[a,b]$  другими компактными пространствами $C$$C$  , а меру Лебега на $[a,b]$$[a,b]$  — борелевской мерой с носителем в $C$$C$ .

Винеровский процессПравить

Винеровский процесс в теории случайных процессов — это математическая модель броуновского движения или случайного блуждания с непрерывным временем. Здесь мы определяем его как центрированный гауссовский процесс B(t) с ковариационной функцией

${\mathrm{K}}_{\mathrm{B}\mathrm{B}}(t,s)=\mathrm{Cov}<!--\; \; -->(B(t),B(s))=min(s,t).$${\mathrm {K}}_{{\mathrm {BB}}}(t,s)=\operatorname {Cov}(B(t),B(s))=\min(s,t).$ 

Легко видеть, что собственные векторы ковариации равны

$e_k(t)=\sqrt{2}\sin <!--\; \; -->\left(k-<!--\; -\; -->\frac{1}{2}\right)\mathrm{\pi <!--\; \pi \; -->}t$$e_{k}(t)={\sqrt {2}}\sin \left(k-{\frac {1}{2}}\right)\pi t$ 

а соответствующие собственные значения

${\mathrm{\lambda <!--\; \lambda \; -->}}_k=\frac{4}{(2k-<!--\; -\; -->1{)}^2{\mathrm{\pi <!--\; \pi \; -->}}^2}.$$\lambda _{k}={\frac {4}{(2k-1)^{2}\pi ^{2}}}.$ 

Это позволяет получить нам следующее представление винеровского процесса:

Теорема. Существует последовательность {W_i}_i независимых гауссовких случайных величин с нулевым средним и единичной дисперсией такая, что

${\mathbf{B}}_t=\sqrt{2}\underset{k=1}{\overset{\mathrm{\infty <!--\; \infty \; -->}}{\sum <!--\; \sum \; -->}}{\mathbf{W}}_k\frac{\sin <!--\; \; -->\left(k-<!--\; -\; -->\frac{1}{2}\right)\mathrm{\pi <!--\; \pi \; -->}t}{\left(k-<!--\; -\; -->\frac{1}{2}\right)\mathrm{\pi <!--\; \pi \; -->}}.$${\mathbf {B}}_{t}={\sqrt {2}}\sum _{{k=1}}^{\infty }{\mathbf {W}}_{k}{\frac {\sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\pi }}.$ 

Сходимость является равномерной по t в норме L² так, что

$\mathrm{E}<!--\; \; -->{\left({\mathbf{B}}_t-<!--\; -\; -->\sqrt{2}\underset{k=1}{\overset{n}{\sum <!--\; \sum \; -->}}{\mathbf{W}}_k\frac{\sin <!--\; \; -->\left(k-<!--\; -\; -->\frac{1}{2}\right)\mathrm{\pi <!--\; \pi \; -->}t}{\left(k-<!--\; -\; -->\frac{1}{2}\right)\mathrm{\pi <!--\; \pi \; -->}}\right)}^2\to <!--\; \to \; -->0$$\operatorname {E}\left({\mathbf {B}}_{t}-{\sqrt {2}}\sum _{{k=1}}^{n}{\mathbf {W}}_{k}{\frac {\sin \left(k-{\frac {1}{2}}\right)\pi t}{\left(k-{\frac {1}{2}}\right)\pi }}\right)^{2}\rightarrow 0$ 

равномерно по t.

ИспользованиеПравить

Было высказано мнение, что в проекте SETI следует использовать преобразования Карунена-Лоэва для обнаружения сигналов с очень широким спектром. Аналогично, в системах адаптивной оптики иногда используют функции Карунена-Лоэва для восстановления информации о фазе фронта волны. (Dai 1996, JOSA A).

См. такжеПравить

• Метод главных компонент
• Нейронная сеть Кохонена
• Полиномиальный хаос (англ.)

СсылкиПравить

• И. И. Гихман, А. В. Скороход, Введение в теорию случайных процессов (недоступная ссылка).- М.: Наука, 1965.
• B. Simon, Functional Integration and Quantum Physics, Academic Press, 1979
• K. Karhunen, Kari, Uber lineare Methoden in der Wahrscheinlichkeitsrechnung, Ann. Acad. Sci. Fennicae. Ser. A. I. Math.-Phys., 1947, No. 37, 1-79
• М. Лоев, Теория вероятностей, — М.: ИЛ, 1962.
• G. Dai, Modal wave-front reconstruction with Zernike polynomials and Karhunen-Loeve functions, JOSA A, 13, 6, 1996

ЛитератураПравить

• Ярославский Л. П. Введение в цифровую обработку изображений. — М.: Советское радио, 1979. — 312 с.
• Френкс Л. Теория сигналов. — М.: Советское радио, 1974. — 399 с.