Это не официальный сайт wikipedia.org 01.01.2023

Глубокая сеть доверия — Википедия

Глубокая сеть доверия

Глубокая сеть доверия (ГСД, англ. deep belief network, DBN) — это порождающая графическая модель, или, иначе, один из типов глубинных нейронных сетей, состоящая из нескольких скрытых слоев, в которых нейроны внутри одного слоя не связаны друг с другом, но связаны с нейронами соседнего слоя[1].

Схематическое представление глубокой сети доверия. Стрелки представляют направленные соединения в графовой вероятностной модели, представляемую сетью.

При обучении на наборе примеров[en] спонтанным образом ГСД может обучаться вероятностно отстраивать свои входы. Слои в этом случае выступают в роли детекторов признаков входов[1]. По окончании обучения ГСД может быть обучена с учителем для осуществления классификации[2].

ГСД можно рассматривать как композицию простых, спонтанных сетей, таких как ограниченные машины Больцмана (ОМБ)[1] или автокодировщики[3], в которой скрытый слой каждой подсети служит видимым слоем для следующей. Это позволяет осуществить быструю послойную процедуру обучения без учителя, в которой относительное расхождение применяется к каждой подсети по очереди, начиная с первой пары слоев (на видимый слой которой подается тренировочный набор примеров[en]).

Наблюдение, сделанное англ. Yee-Whye Teh, учеником Джеффри Хинтона[2], говорит о том, что ГСД может быть обучена способом жадного послойного обучения, что стало одним из первых действенных алгоритмов глубинного обучения[4]:6:6.

Алгоритм обученияПравить

Алгоритм тренировки ГСД работает следующим образом[2]. Пусть X   будет матрицей входов, что рассматривается как набор признаков.

  1. Представить два нижних слоя (входной и первый скрытый) как ограниченную машину Больцмана (ОМБ). Обучить её на входных данных X   и получить матрицу её весовых коэффициентов W  , которая будет описывать связи между двумя нижними слоями сети.
  2. Пропустить через обученную машину Больцмана входные данные X   и получить данные скрытого слоя X   на выходе после активации узлов первого скрытого слоя.
  3. Повторять эту процедуру с X X   для каждой следующей пары слоёв, пока не будут обучены два самых верхних слоя сети.
  4. Осуществить тонкую настройку всех параметров этой глубокой сети с сохранением логарифмического правдоподобия ГСД или с использованием обучения с учителем (после добавления дополнительных механизмов обучения для выполнения обученной сетью работы, например, линейно-сепарабельного классификатора).

См. такжеПравить

ПримечанияПравить

  1. 1 2 3 Deep belief networks (неопр.) // Scholarpedia. — 2009. — Т. 4, № 5. — С. 5947. — doi:10.4249/scholarpedia.5947. Архивировано 4 декабря 2015 года.
  2. 1 2 3 Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006).
  3. Greedy Layer-Wise Training of Deep Networks (PDF). NIPS. 2007. Архивировано из оригинала (PDF) 2019-10-20. Дата обращения 2016-10-10. Используется устаревший параметр |deadlink= (справка)
  4. Learning Deep Architectures for AI (неопр.) // Foundations and Trends in Machine Learning. — 2009. — Т. 2. — doi:10.1561/2200000006. Архивировано 23 декабря 2015 года.

СсылкаПравить