Теорема Цыбенко

Теорема Цыбенко, Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи (англ. feed-forward; в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор ${\mathbf{w}}_1,{\mathbf{w}}_2,\dots <!--\; \dots \; -->,{\mathbf{w}}_N,\mathrm{\alpha <!--\; \alpha \; -->},$$\mathbf {w} _{1},\mathbf {w} _{2},\dots ,\mathbf {w} _{N},\mathbf {\alpha } ,$ и $\mathrm{\theta <!--\; \theta \; -->}$$\mathbf {\theta }$, где

${\mathbf{w}}_i$$\mathbf {w} _{i}$ — веса между входными нейронами и нейронами скрытого слоя,

$\mathrm{\alpha <!--\; \alpha \; -->}$$\mathbf {\alpha }$ — веса между связями от нейронов скрытого слоя и выходным нейроном,

$\mathrm{\theta <!--\; \theta \; -->}$$\mathbf {\theta }$ — смещения для нейронов входного слоя.

Формальное изложениеПравить

Пусть $\mathrm{\phi <!--\; \phi \; -->}$$\varphi$  любая непрерывная сигмоидная функция, например, $\mathrm{\phi <!--\; \phi \; -->}(\mathrm{\xi <!--\; \xi \; -->})=1/(1+e^{-<!--\; -\; -->\mathrm{\xi <!--\; \xi \; -->}})$$\varphi (\xi )=1/(1+e^{-\xi })$ . Тогда, если дана любая непрерывная функция действительных переменных $f$$f$  на $[0,1{]}^n$$[0,1]^{n}$  (или любое другое компактное подмножество ${\mathbb{R}}^n$$\mathbb {R} ^{n}$ ) и $\mathrm{\epsilon <!--\; \epsilon \; -->}>0$$\varepsilon >0$ , то существуют векторы ${\mathbf{w}}_{\mathbf{1}},{\mathbf{w}}_{\mathbf{2}},\dots <!--\; \dots \; -->,{\mathbf{w}}_{\mathbf{N}},\mathrm{\alpha <!--\; \alpha \; -->}$$\mathbf {w_{1}} ,\mathbf {w_{2}} ,\dots ,\mathbf {w_{N}} ,\mathbf {\alpha }$  и $\mathrm{\theta <!--\; \theta \; -->}$$\mathbf {\theta }$  и параметризованная функция $G(\cdot <!--\; \cdot \; -->,\mathbf{w},\mathrm{\alpha <!--\; \alpha \; -->},\mathrm{\theta <!--\; \theta \; -->}):[0,1{]}^n\to <!--\; \to \; -->R$$G(\mathbf {\cdot } ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } ):[0,1]^{n}\to R$  такая, что для всех $\mathbf{x}\in <!--\; \in \; -->[0,1{]}^n$$\mathbf {x} \in [0,1]^{n}$  выполняется

${\big |}G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )-f(\mathbf {x} ){\big |}<\varepsilon ,$ 

где

$G(\mathbf{x},\mathbf{w},\mathrm{\alpha <!--\; \alpha \; -->},\mathrm{\theta <!--\; \theta \; -->})=\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}{\mathrm{\alpha <!--\; \alpha \; -->}}_i\mathrm{\phi <!--\; \phi \; -->}({\mathbf{w}}_i^T\mathbf{x}+{\mathrm{\theta <!--\; \theta \; -->}}_i),$$G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )=\sum _{i=1}^{N}\alpha _{i}\varphi (\mathbf {w} _{i}^{T}\mathbf {x} +\theta _{i}),$ 

и ${\mathbf{w}}_i\in <!--\; \in \; -->{\mathbb{R}}^n,$$\mathbf {w} _{i}\in \mathbb {R} ^{n},$  ${\mathrm{\alpha <!--\; \alpha \; -->}}_i,{\mathrm{\theta <!--\; \theta \; -->}}_i\in <!--\; \in \; -->\mathbb{R},$$\alpha _{i},\theta _{i}\in \mathbb {R} ,$  $\mathbf{w}=({\mathbf{w}}_1,{\mathbf{w}}_2,\dots <!--\; \dots \; -->,{\mathbf{w}}_N),$$\mathbf {w} =(\mathbf {w} _{1},\mathbf {w} _{2},\dots ,\mathbf {w} _{N}),$  $\mathrm{\alpha <!--\; \alpha \; -->}=({\mathrm{\alpha <!--\; \alpha \; -->}}_1,{\mathrm{\alpha <!--\; \alpha \; -->}}_2,\dots <!--\; \dots \; -->,{\mathrm{\alpha <!--\; \alpha \; -->}}_N),$$\mathbf {\alpha } =(\alpha _{1},\alpha _{2},\dots ,\alpha _{N}),$  и $\mathrm{\theta <!--\; \theta \; -->}=({\mathrm{\theta <!--\; \theta \; -->}}_1,{\mathrm{\theta <!--\; \theta \; -->}}_2,\dots <!--\; \dots \; -->,{\mathrm{\theta <!--\; \theta \; -->}}_N).$$\mathbf {\theta } =(\theta _{1},\theta _{2},\dots ,\theta _{N}).$ 

СсылкаПравить

• Cybenko, G. V. Approximation by Superpositions of a Sigmoidal function // Mathematics of Control Signals and Systems. — 1989. — Т. 2, № 4. — С. 303—314.
• Hassoun, M. Fundamentals of Artificial Neural Networks. — MIT Press, 1995. — С. 20, 48.

См. такжеПравить

• Теорема Колмогорова — Арнольда
• Теорема сходимости перцептрона
• Перцептрон
• Победитель получает всё