Гауссовский процесс

В теории вероятностей и статистике гауссовский процесс — это стохастический процесс (совокупность случайных величин, индексированных некоторым параметром, чаще всего временем или координатами), такой что любой конечный набор этих случайных величин имеет многомерное нормальное распределение, то есть любая конечная линейная комбинация из них нормально распределена. Распределение гауссовского процесса – это совместное распределение всех его случайных величин и, в силу чего, является распределением функций с непрерывной областью определения.

Если рассматривать гауссовский процесс как способ решения задач машинного обучения, то используется ленивое обучение и мера подобия между точками (функция ядра) для получения прогноза значения невидимой точки из обучающей выборки. В понятие прогноза, помимо самой оценки точки, входит информация о неопределенности — одномерное гауссовское распределение.

Для вычисления прогнозов некоторых функций ядра используют метод матричной алгебры, кригинг.

Гауссовский процесс назван так в честь Карла Фридриха Гаусса, поскольку в его основе лежит понятие гауссовского распределения (нормального распределения). Гауссовский процесс может рассматриваться как бесконечномерное обобщение многомерных нормальных распределений. Эти процессы применяются в статистическом моделировании; в частности используются свойства нормальности. Например, если случайный процесс моделируется как гауссовский, то распределения различных производных величин, такие как среднее значение процесса в течение определенного промежутка времени и погрешность его оценки с использованием выборки значений, могут быть получены явно.

ОпределениеПравить

Случайный процесс с непрерывным временем является гауссовским тогда и только тогда, когда для любого конечного множества индексов $t_1,\dots <!--\; \dots \; -->,t_k$$t_{1},\ldots ,t_{k}$  из множества индексов $T$$T$ 

${\mathbf{X}}_{t_1,\dots <!--\; \dots \; -->,t_k}=({\mathbf{X}}_{t_1},\dots <!--\; \dots \; -->,{\mathbf{X}}_{t_k})$$\mathbf {X} _{t_{1},\ldots ,t_{k}}=(\mathbf {X} _{t_{1}},\ldots ,\mathbf {X} _{t_{k}})$ 

- многомерная гауссовская случайная величина. То же самое, что и всякая линейная комбинация $({\mathbf{X}}_{t_1},\dots <!--\; \dots \; -->,{\mathbf{X}}_{t_k})$$(\mathbf {X} _{t_{1}},\ldots ,\mathbf {X} _{t_{k}})$  имеет одномерное нормальное (гауссовское) распределение. Используя характеристические функции случайных величин, свойство Гаусса можно сформулировать следующим образом: $\left\{X_t;t\in <!--\; \in \; -->T\right\}$$\left\{X_{t};t\in T\right\}$  - гауссовское тогда и только тогда, когда для любого конечного множества индексов $t_1,\dots <!--\; \dots \; -->,t_k$$t_{1},\ldots ,t_{k}$ , существуют вещественные значения ${\mathrm{\sigma <!--\; \sigma \; -->}}_{\mathrm{\ell <!--\; \ell \; -->}j}$$\sigma _{\ell j}$ , ${\mathrm{\mu <!--\; \mu \; -->}}_{\mathrm{\ell <!--\; \ell \; -->}}$$\mu _{\ell }$  где ${\mathrm{\sigma <!--\; \sigma \; -->}}_{jj}>0$$\sigma _{jj}>0$  такие, что для всех $s_1,s_2,\dots <!--\; \dots \; -->,s_k\in <!--\; \in \; -->\mathbb{R}$$s_{1},s_{2},\ldots ,s_{k}\in \mathbb {R}$  выполнено равенство

$\mathrm{E}<!--\; \; -->\left(\exp <!--\; \; -->\left(i\underset{\mathrm{\ell <!--\; \ell \; -->}=1}{\overset{k}{\sum <!--\; \sum \; -->}}{s}_{\mathrm{\ell <!--\; \ell \; -->}}{\mathbf{X}}_{t_{\mathrm{\ell <!--\; \ell \; -->}}}\right)\right)=\exp <!--\; \; -->\left(-<!--\; -\; -->\frac{1}{2}\underset{\mathrm{\ell <!--\; \ell \; -->},j}{\sum <!--\; \sum \; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}_{\mathrm{\ell <!--\; \ell \; -->}j}{s}_{\mathrm{\ell <!--\; \ell \; -->}}{s}_j+i\underset{\mathrm{\ell <!--\; \ell \; -->}}{\sum <!--\; \sum \; -->}{\mathrm{\mu <!--\; \mu \; -->}}_{\mathrm{\ell <!--\; \ell \; -->}}{s}_{\mathrm{\ell <!--\; \ell \; -->}}\right).$$\operatorname {E} \left(\exp \left(i\ \sum _{\ell =1}^{k}s_{\ell }\ \mathbf {X} _{t_{\ell }}\right)\right)=\exp \left(-{\frac {1}{2}}\,\sum _{\ell ,j}\sigma _{\ell j}s_{\ell }s_{j}+i\sum _{\ell }\mu _{\ell }s_{\ell }\right).$ 

Где $i$$i$  - мнимая единица.

Числа ${\mathrm{\sigma <!--\; \sigma \; -->}}_{\mathrm{\ell <!--\; \ell \; -->}j}$$\sigma _{\ell j}$  и ${\mathrm{\mu <!--\; \mu \; -->}}_{\mathrm{\ell <!--\; \ell \; -->}}$$\mu _{\ell }$  - ковариации и средние значения переменных в процессах соответственно.

Ковариационные функцииПравить

Главная особенность гауссовских процессов - они могут быть полностью определены второй порядковой статистикой. Следовательно, ковариационная функция полностью определяет поведение процесса, если математическое ожидание гауссовского процесса равно нулю. Неотрицательная определенность функции делает возможным её спектральное разложение при помощи разложения Карунена — Лоэва. Через ковариационную функцию можно определить стационарность, изотропию, гладкость и периодичность процесса.

Стационарность выражает поведение процесса относительно расстояния между любыми двумя точками $x$$x$  и $x^{\prime }$$x'$ . Если процесс стационарный, то он зависит от взаимного расположения своих точек, расстояния между ними, $x-<!--\; -\; -->x^{\prime }$$x-x'$ , в ином случае, он нестационарный, то есть зависит от фактического положения точек $x$$x$  и $x^{\prime }$$x'$ . Примером может послужить частный случай процесса Орнштейна — Уленбека, процесс броуновского движения: он является стационарным.

Если процесс зависит только от $|x-<!--\; -\; -->x^{\prime }|$$|x-x'|$ , евклидова расстояния (не направления) между $x$$x$  и $x^{\prime }$$x'$ , то процесс считается изотропным. Стационарный и изотропный процесс называют однородным; на практике свойства стационарности и изотропии отражают различия(или, скорее, их отсутствие) в поведении процесса с учётом положения наблюдателя.

Суть гауссовских процессов заключается в получении априорных распределений вероятности, гладкость которых зависит от взятой ковариационной функции. Если мы ожидаем, что для "лежащих близко" входных точек $x$$x$  и $x^{\prime }$$x'$  соответствующие им выходные точки $y$$y$  и $y^{\prime }$$y'$  также "лежат близко", тогда присутствует предположение о непрерывности функции. Если мы хотим допустить значительное смещение, то нужно выбрать более грубую ковариационную функцию. В качестве примеров крайнего поведения можно привести ковариационную функцию Орнштейна — Уленбека и квадратичную экспоненциальную функцию, где первая не дифференцируема нигде, а последняя бесконечно дифференцируема.

Под периодичностью понимается индуцирование периодических закономерностей в поведении процесса. Формально это достигается путём отображения входного значения $x$$x$  на двумерный вектор

$u(x)=(cos(x),sin(x)).$$u(x)=(cos(x),sin(x)).$ 

Обычные ковариационные функцииПравить

 

Влияние выбора различных ядер на функцию распределения гауссовского процесса. Слева направо: квадратичное экспоненциальное ядро, броуновское, квадратичное.

Существует ряд общих ковариационных функций:

• Константа: $K_{\mathrm{C}}(x,x^{\prime })=C$$K_{\operatorname {C} }(x,x')=C$ 
• Линейная функция: $K_{\mathrm{L}}(x,x^{\prime })=x^T{x}^{\prime }$$K_{\operatorname {L} }(x,x')=x^{T}x'$ 
• Гауссовский шум: $K_{\mathrm{GN}}(x,x^{\prime })={\mathrm{\sigma <!--\; \sigma \; -->}}^2{\mathrm{\delta <!--\; \delta \; -->}}_{x,x^{\prime }}$$K_{\operatorname {GN} }(x,x')=\sigma ^{2}\delta _{x,x'}$ 
• Квадратичная экспоненциальная функция: $K_{\mathrm{SE}}(x,x^{\prime })=\exp <!--\; \; -->(-<!--\; -\; -->\frac{\Vert <!--\; \Vert \; -->d{\Vert <!--\; \Vert \; -->}^2}{2{\mathrm{\ell <!--\; \ell \; -->}}^2})$$K_{\operatorname {SE} }(x,x')=\exp {\Big (}-{\frac {\|d\|^{2}}{2\ell ^{2}}}{\Big )}$ 
• Функция Орнштейна — Уленбека: $K_{\mathrm{OU}}(x,x^{\prime })=\exp <!--\; \; -->\left(-<!--\; -\; -->\frac{|d|}{\mathrm{\ell <!--\; \ell \; -->}}\right)$$K_{\operatorname {OU} }(x,x')=\exp \left(-{\frac {|d|}{\ell }}\right)$ 
• Matérn: $K_{\mathrm{Matern}}(x,x^{\prime })=\frac{2^{1-<!--\; -\; -->\mathrm{\nu <!--\; \nu \; -->}}}{\mathrm{\Gamma <!--\; \Gamma \; -->}(\mathrm{\nu <!--\; \nu \; -->})}(\frac{\sqrt{2\mathrm{\nu <!--\; \nu \; -->}}|d|}{\mathrm{\ell <!--\; \ell \; -->}}{)}^{\mathrm{\nu <!--\; \nu \; -->}}{K}_{\mathrm{\nu <!--\; \nu \; -->}}(\frac{\sqrt{2\mathrm{\nu <!--\; \nu \; -->}}|d|}{\mathrm{\ell <!--\; \ell \; -->}})$$K_{\operatorname {Matern} }(x,x')={\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Big (}{\frac {{\sqrt {2\nu }}|d|}{\ell }}{\Big )}^{\nu }K_{\nu }{\Big (}{\frac {{\sqrt {2\nu }}|d|}{\ell }}{\Big )}$ 
• Периодическая функция: $K_{\mathrm{P}}(x,x^{\prime })=\exp <!--\; \; -->\left(-<!--\; -\; -->\frac{2{\sin }^2<!--\; \; -->\left(\frac{d}{2}\right)}{{\mathrm{\ell <!--\; \ell \; -->}}^2}\right)$$K_{\operatorname {P} }(x,x')=\exp \left(-{\frac {2\sin ^{2}\left({\frac {d}{2}}\right)}{\ell ^{2}}}\right)$ 
• Рациональная квадратичная функция: $K_{\mathrm{RQ}}(x,x^{\prime })=(1+|d{|}^2{)}^{-<!--\; -\; -->\mathrm{\alpha <!--\; \alpha \; -->}},\mathrm{\alpha <!--\; \alpha \; -->}\ge <!--\; \ge \; -->0$$K_{\operatorname {RQ} }(x,x')=(1+|d|^{2})^{-\alpha },\quad \alpha \geq 0$ 

Здесь $d=x-<!--\; -\; -->x^{\prime }$$d=x-x'$ . Параметр $\mathrm{\ell <!--\; \ell \; -->}$$\ell$  является характеристикой масштаба длины процесса (практически, «насколько близко» две точки $x$$x$  и $x^{\prime }$$x'$  должны быть, чтобы значительно влиять друг на друга), $\mathrm{\delta <!--\; \delta \; -->}$$\delta$  - это символ Кронекера и $\mathrm{\sigma <!--\; \sigma \; -->}$$\sigma$  - среднеквадратическое отклонение колебаний шума. Кроме того, $K_{\mathrm{\nu <!--\; \nu \; -->}}$$K_{\nu }$  является модифицированной функцией Бесселя $\mathrm{\nu <!--\; \nu \; -->}$$\nu$  и $\mathrm{\Gamma <!--\; \Gamma \; -->}(\mathrm{\nu <!--\; \nu \; -->})$$\Gamma (\nu )$  - это гамма-функция, вычисленная по $\mathrm{\nu <!--\; \nu \; -->}$$\nu$ . Сложную ковариационную функцию можно определить как линейную комбинацию других более простых ковариационных функций затем, чтобы объединить различную информацию об имеющихся наборах данных.

Полученные результаты зависят от значений гиперпараметров $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  (например, $\mathrm{\ell <!--\; \ell \; -->}$$\ell$  и $\mathrm{\sigma <!--\; \sigma \; -->}$$\sigma$ ), определяющих поведение модели.

Броуновское движение как интеграл гауссовских процессовПравить

Винеровский процесс (так называемое броуновское движение) является интегралом гауссовского процесса белого шума. Он не стационарен, однако имеет стационарные приращения.

Процесс Орнштейна — Уленбека — это стационарный гауссовский процесс.

Броуновский мост (подобный процессу Орнштейна — Уленбека) является примером гауссовского процесса, приращения которого не являются независимыми.

Дробное броуновское движение является гауссовским процессом, ковариационная функция которого является обобщением функции винеровского процесса.

ПриложенияПравить

 

Пример регрессии на основе гауссовского процесса по сравнению с другими регрессионными моделями.

Гауссовский процесс может быть использован как априорное распределение вероятностей функций в байесовском выводе. Для любого множества из N точек в нужной области функций возьмите многомерное гауссовское распределение, ковариационный матричный параметр которого является определителем Грама взятых N точек с некоторым желаемым ядром, и выборку из этого распределения.

Вывод непрерывных значений на основе гауссовского процесса, определяемого предыдущими ковариациями, известен как кригинг (регрессия на основе гауссовского процесса). Поэтому, гауссовские процессы полезны в качестве мощного нелинейного многомерного инструмента интерполяции. Регрессия на основе гауссовского процесса может быть дополнительно расширена для решения задач обучения как с учителем, так и без (самообучение).

Прогноз гауссовского процесса или кригингПравить

 

Регрессия на основе гауссовского процесса (прогнозирование) с квадратичным экспоненциальным ядром.

Когда речь идёт об основной проблеме регрессии на основе гауссовского процесса (кригинге), предполагается, что для гауссовского процесса $f$$f$ , наблюдаемого в координатах $x$$x$ , вектор значений $f(x)$$f(x)$  является всего лишь одной из выборок многомерного гауссовского распределения, размерность которого равна числу наблюдаемых координат $|x|$$|x|$ . Следовательно, согласно допущению о нулевом распределении, $f(x)\sim <!--\; \sim \; -->N(0,K(\mathrm{\theta <!--\; \theta \; -->},x,x^{\prime }))$$f(x)\sim N(0,K(\theta ,x,x'))$ , где $K(\mathrm{\theta <!--\; \theta \; -->},x,x^{\prime })$$K(\theta ,x,x')$  - ковариационная матрица между всеми возможными парами $(x,x^{\prime })$$(x,x')$  для заданного множества гиперпараметров $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ . Таким образом, логарифм предельной вероятности равен:

$\log <!--\; \; -->p(f(x)|\mathrm{\theta <!--\; \theta \; -->},x)=-<!--\; -\; -->\frac{1}{2}f(x{)}^{T}K(\mathrm{\theta <!--\; \theta \; -->},x,x^{\prime }{)}^{-<!--\; -\; -->1}f(x)-<!--\; -\; -->\frac{1}{2}\log <!--\; \; -->det(K(\mathrm{\theta <!--\; \theta \; -->},x,x^{\prime }))-<!--\; -\; -->\frac{|x|}{2}\log <!--\; \; -->2\mathrm{\pi <!--\; \pi \; -->}$$\log p(f(x)|\theta ,x)=-{\frac {1}{2}}f(x)^{T}K(\theta ,x,x')^{-1}f(x)-{\frac {1}{2}}\log \det(K(\theta ,x,x'))-{\frac {|x|}{2}}\log 2\pi$ 

и максимизация этой предельной вероятности по отношению к $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  даёт полную характеристику гауссовского процесса $f$$f$ . Первое выражение зависит от неспособности модели соответствовать наблюдаемым значениям, а второе выражение прямо пропорционально сложности модели. Указав $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  и сделав прогноз о ненаблюдаемых значениях $f(x^{\ast <!--\; \ast \; -->})$$f(x^{*})$  в координатах $x^{\ast <!--\; \ast \; -->}$$x^{*}$ , останется сделать график выборок из прогностического распределения $p(y^{\ast <!--\; \ast \; -->}\mid <!--\; \mid \; -->x^{\ast <!--\; \ast \; -->},f(x),x)=N(y^{\ast <!--\; \ast \; -->}\mid <!--\; \mid \; -->A,B)$$p(y^{*}\mid x^{*},f(x),x)=N(y^{*}\mid A,B)$ , где последующая средняя оценка $A$$A$  определяется как

$A=K(\mathrm{\theta <!--\; \theta \; -->},x^{\ast <!--\; \ast \; -->},x)K(\mathrm{\theta <!--\; \theta \; -->},x,x^{\prime }{)}^{-<!--\; -\; -->1}f(x)$$A=K(\theta ,x^{*},x)K(\theta ,x,x')^{-1}f(x)$ 

и последующая оценка дисперсии B определяется как

$B=K(\mathrm{\theta <!--\; \theta \; -->},x^{\ast <!--\; \ast \; -->},x^{\ast <!--\; \ast \; -->})-<!--\; -\; -->K(\mathrm{\theta <!--\; \theta \; -->},x^{\ast <!--\; \ast \; -->},x)K(\mathrm{\theta <!--\; \theta \; -->},x,x^{\prime }{)}^{-<!--\; -\; -->1}K(\mathrm{\theta <!--\; \theta \; -->},x^{\ast <!--\; \ast \; -->},x{)}^T$$B=K(\theta ,x^{*},x^{*})-K(\theta ,x^{*},x)K(\theta ,x,x')^{-1}K(\theta ,x^{*},x)^{T}$ 

где $K(\mathrm{\theta <!--\; \theta \; -->},x^{\ast <!--\; \ast \; -->},x)$$K(\theta ,x^{*},x)$  - ковариация между новой оценкой координаты $x^{\ast <!--\; \ast \; -->}$$x^{*}$  и всеми другими наблюдаемыми координатами $x$$x$  для данного гиперпараметрического вектора $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ , $K(\mathrm{\theta <!--\; \theta \; -->},x,x^{\prime })$$K(\theta ,x,x')$  и $f(x)$$f(x)$  определены как и прежде, а $K(\mathrm{\theta <!--\; \theta \; -->},x^{\ast <!--\; \ast \; -->},x^{\ast <!--\; \ast \; -->})$$K(\theta ,x^{*},x^{*})$  является дисперсией в точке $x^{\ast <!--\; \ast \; -->}$$x^{*}$ , продиктованной вектором $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ . Последующая средняя оценка $f(x^{\ast <!--\; \ast \; -->})$$f(x^{*})$  ("точечная оценка") является линейной комбинацией наблюдений $f(x)$$f(x)$ ; аналогичным образом дисперсия $f(x^{\ast <!--\; \ast \; -->})$$f(x^{*})$  фактически не зависит от наблюдений $f(x)$$f(x)$ . Известным узким местом в прогнозировании гауссовского процесса является то, что вычислительная сложность прогнозирования является кубической по числу точек $|x|$$|x|$ , то есть вычисление может быть невозможным для больших наборов данных. Чтобы обойти эту проблему, ведутся работы по разреженным гауссовским процессам, которые обычно основаны на идее построения репрезентативного набора для данного процесса $f$$f$ .

См. такжеПравить

• Среднеквадратическое отклонение
• Кригинг
• Априорная вероятность

Внешние ссылкиПравить

• The Gaussian Processes Web Site, including the text of Rasmussen and Williams' Gaussian Processes for Machine Learning
• A gentle introduction to Gaussian processes
• A Review of Gaussian Random Fields and Correlation Functions

Программное обеспечениеПравить

• STK: a Small (Matlab/Octave) Toolbox for Kriging and GP modeling
• Kriging module in UQLab framework (Matlab)
• Matlab/Octave function for stationary Gaussian fields
• Yelp MOE – A black box optimization engine using Gaussian process learning
• ooDACE – A flexible object-oriented Kriging matlab toolbox.
• GPstuff – Gaussian process toolbox for Matlab and Octave
• GPy – A Gaussian processes framework in Python
• Interactive Gaussian process regression demo
• Basic Gaussian process library written in C++11
• scikit-learn – A machine learning library for Python which includes Gaussian process regression and classification
• [1] - The Kriging toolKit (KriKit) is developed at the Institute of Bio- and Geosciences 1 (IBG-1) of Forschungszentrum Jülich (FZJ)