Радиально-базисная функция

Радиальная базисная функция (РБФ) — функция из набора однотипных радиальных функций, используемых как функция активации в одном слое искусственной нейронной сети или как-либо ещё, в зависимости от контекста. Радиальная функция^[en] — это любая вещественная функция, значение которой зависит только от расстояния до начала координат $\mathrm{\varphi <!--\; \varphi \; -->}\left(\mathbf{x}\right)=\mathrm{\varphi <!--\; \varphi \; -->}\left(\Vert \mathbf{x}\Vert \right)$$\phi \left(\mathbf {x} \right)=\phi \left(\left\|\mathbf {x} \right\|\right)$ или от расстояния между некоторой другой точкой $\mathbf{c}$${\mathbf {c}}$, называемой центром: $\mathrm{\varphi <!--\; \varphi \; -->}\left(\mathbf{x},\mathbf{c}\right)=\mathrm{\varphi <!--\; \varphi \; -->}\left(\Vert \mathbf{x}-<!--\; -\; -->\mathbf{c}\Vert \right)$$\phi \left(\mathbf {x} ,\mathbf {c} \right)=\phi \left(\left\|\mathbf {x} -\mathbf {c} \right\|\right)$. В качестве нормы обычно выступает евклидово расстояние, хотя можно использовать и другие метрики.

Линейные комбинации радиальных базисных функций также можно использовать для аппроксимации заданной функции. Аппроксимация может быть интерпретирована как простейшая разновидность нейронной сети; именно в этом контексте радиальные базисные функции были впервые определены в работе Дэвида Брумхэда и Дэвид Лоу в 1988 году, основанной на фундаментальной работе Майкла Пауэлла 1977 года.

Радиальные базисные функции также используются в качестве ядра в методе опорных векторов.

ВидыПравить

Часто используемые радиально-базисные функций включают в себя ($r=\Vert \mathbf{x}-<!--\; -\; -->{\mathbf{x}}_i\Vert$$r=\left\|\mathbf {x} -\mathbf {x} _{i}\right\|$ ):

• Функция Гаусса:

  $\mathrm{\varphi <!--\; \varphi \; -->}\left(r\right)=e^{-<!--\; -\; -->{\left(\mathrm{\epsilon <!--\; \epsilon \; -->}r\right)}^2}$$\phi \left(r\right)=e^{-\left(\varepsilon r\right)^{2}}$ 

• Мультиквадратичная:

  $\mathrm{\varphi <!--\; \varphi \; -->}\left(r\right)=\sqrt{1+{\left(\mathrm{\epsilon <!--\; \epsilon \; -->}r\right)}^2}$$\phi \left(r\right)={\sqrt {1+\left(\varepsilon r\right)^{2}}}$ 

• Обратная квадратичная:

  $\mathrm{\varphi <!--\; \varphi \; -->}\left(r\right)=\frac{1}{1+{\left(\mathrm{\epsilon <!--\; \epsilon \; -->}r\right)}^2}$${\displaystyle \phi \left(r\right)={\dfrac {1}{1+\left(\varepsilon r\right)^{2}}}}$ 

• Обратная мультиквадратичная:

  $\mathrm{\varphi <!--\; \varphi \; -->}\left(r\right)=\frac{1}{\sqrt{1+{\left(\mathrm{\epsilon <!--\; \epsilon \; -->}r\right)}^2}}$$\phi \left(r\right)={\dfrac {1}{\sqrt {1+\left(\varepsilon r\right)^{2}}}}$ 

• Полигармонический сплайн:

  ${\begin{aligned}\phi \left(r\right)&=r^{k},&k&=1,3,5,\dotsc \\\phi \left(r\right)&=r^{k}\ln \left(r\right),&k&=2,4,6,\dotsc \end{aligned}}$ 

• Тонкий сплайн пластины (специальный полигармонический сплайн):

  $\mathrm{\varphi <!--\; \varphi \; -->}\left(r\right)=r^2\ln <!--\; \; -->\left(r\right)$$\phi \left(r\right)=r^{2}\ln \left(r\right)$ 

ПриближениеПравить

 

Две ненормализованных гауссовых радиальных базисных функций одной переменной, c центрами в точках $x_1=0,75$$x_{1}=0{,}75$  и $x_2=3,25$$x_{2}=3{,}25$  соответственно.

Для аппроксимации функций с помощью радиальных базисных функций обычно берётся их линейная комбинация вида:

$y\left(\mathbf{x}\right)=\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}{w}_i\mathrm{\varphi <!--\; \varphi \; -->}\left(\Vert \mathbf{x}-<!--\; -\; -->{\mathbf{x}}_i\Vert \right)$$y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\mathbf {x} _{i}\right\|\right)$ ,

где в качестве аппроксимирующей функции $y\left(\mathbf{x}\right)$$y\left(\mathbf {x} \right)$  берётся сумма $N$$N$  радиальных базисных функций с центрами в точках ${\mathbf{x}}_i$$\mathbf {x} _{i}$  и коэффициентами $w_i$$w_{{i}}$ . Коэффициенты можно вычислить с помощью метода наименьших квадратов, поскольку аппроксимирующая функция является линейной по отношению к коэффициентам $w_i$$w_{{i}}$ .

Аппроксимационные схемы такого рода особенно полезны в прогнозировании временных рядов, управлении нелинейных систем, демонстрирующих достаточно простое хаотическое поведение, и 3D-моделировании в компьютерной графике.

Нейронные сети на основе РБФПравить

Основная статья: Сеть радиально-базисных функций

Линейная комбинация:

$y\left(\mathbf{x}\right)=\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}{w}_i\mathrm{\varphi <!--\; \varphi \; -->}\left(\Vert \mathbf{x}-<!--\; -\; -->{\mathbf{x}}_i\Vert \right)$$y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\mathbf {x} _{i}\right\|\right)$ 

также может быть интерпретирована как простейшая искусственная нейронная сеть с одним слоем, называемая сетью радиально-базисных функций, в которой радиальная базисная функция исполняет роль функции активации. Можно показать, что любая непрерывная функция на компактном интервале в принципе может быть интерполирована с произвольной точностью при достаточно большом $N$$N$ .

Аппроксимации $y\left(\mathbf{x}\right)$$y\left(\mathbf {x} \right)$  является дифференцируемой по $w_i$$w_{{i}}$ . Коэффициенты можно вычислить при помощи любого стандартного итерационного метода для нейронных сетей.

Таким образом, радиальные базисные функции предоставляют собой гибкий инструмент интерполирования при условии, что множество центров более-менее равномерно покрывает область определения искомой функции (в идеале центры должны быть равноудалены от ближайших соседей). Тем не менее, как правило в промежуточных точках аппроксимация достигает высокой точности только если множество радиальных базисных функций дополнено полиномом, ортогональным к каждой из РБФ.

ЛитератураПравить

• Broomhead, David H.; Lowe, David. Multivariable Functional Interpolation and Adaptive Networks (англ.) // Complex Systems : journal. — 1988. — Vol. 2. — P. 321—355. Архивировано 14 июля 2014 года.
• Buhmann, Martin D. (2003), Radial Basis Functions: Theory and Implementations, Cambridge University Press, ISBN 978-0-521-63338-3 .
• Hardy, R.L. Multiquadric equations of topography and other irregular surfaces (англ.) // Journal of Geophysical Research  (англ.) (рус. : journal. — 1971. — Vol. 76, no. 8. — P. 1905—1915. — doi:10.1029/jb076i008p01905. — Bibcode: 1971JGR....76.1905H.
• Hardy, R.L. Theory and applications of the multiquadric-biharmonic method, 20 years of Discovery, 1968 1988 (англ.) // Comp. math Applic : journal. — 1990. — Vol. 19, no. 8/9. — P. 163—208. — doi:10.1016/0898-1221(90)90272-l.
• Press, WH; Teukolsky, SA; Vetterling, WT & Flannery, BP (2007), Section 3.7.1. Radial Basis Function Interpolation, Numerical Recipes: The Art of Scientific Computing (3rd ed.), New York: Cambridge University Press, ISBN 978-0-521-88068-8 
• Sirayanone, С., 1988, сравнительные исследования кригинга, мультиквадриков-бигармонический, и других методов решения проблемы минеральных ресурсов, кандидат технических наук. Диссертация, МЭИ. наук о Земле, Университет штата Айова, Эймс, Айова.
• Sirayanone, S. The Multiquadric-biharmonic Method as Used for Mineral Resources, Meteorological, and Other Applications (англ.) // Journal of Applied Sciences and Computations : journal. — 1995. — Vol. 1. — P. 437—475.