Адаптивная резонансная теория

Сети адаптивного резонанса — разновидность искусственных нейронных сетей, основанная на теории адаптивного резонанса Стивена Гроссберга и Гейла Карпентера. Включает в себя модели обучения с учителем и без учителя, которые используются при решении задач распознавания образов и предсказания.

Общее описаниеПравить

Основная идея заключается в том, что распознавание образов является результатом нисходящих ожиданий и восходящей сенсорной информации. Причем нисходящие ожидания принимают форму припоминаемых прототипов или образцов, которые затем сравниваются с реально наблюдаемыми свойствами объекта. Это сравнение лежит в основании меры категориальной принадлежности. Когда разница между ожиданием и наблюдаемым не превышает определенный порог («бдительность») наблюдаемый объект считается принадлежащим к определенной категории. Таким образом система предлагает решение проблемы пластичности/стабильности, то есть проблемы приобретения нового знания без нарушения уже существующего.

ОбучениеПравить

Basic ART Structure

Стандартная АР система представляет собой модель обучения без учителя. Как правило она состоит из составленных из нейронов поля сравнения и поля распознавания, а также параметра бдительности и модуля сброса. На вход поля сравнения подается вектор чисел, для которого определяется соответствующий нейрон в поле распознавания, то есть тот, чьи веса больше всего похожи на входной вектор. Каждый нейрон поля распознавания тормозит другие нейроны из этого поля (сила воздействия пропорциональна степени соответствия).

После классификации входа модуль сброса сравнивает степень соответствия при распознании с параметром бдительности. В случае если порог преодолен, происходит обучение: веса победившего нейрона подгоняются к значениям входного вектора. Если же порог не был преодолен, то победивший нейрон подавляется и запускается процедура поиска. В ходе этой процедуры распознающие нейроны отключаются один за другим с помощью функции сброса пока порог бдительности не будет преодолен. На каждом цикле поиска выбирается наиболее активный распознающий нейрон, и отключается, в случае если активация не достигает порога бдительности. Параметр бдительности имеет значительное влияние на систему: высокие значения создают высоко детализированную память (множество мелких категорий), тогда как небольшие значения создают более общие образы (меньшее количество более крупных категорий).

РазновидностиПравить

ART1^[1]^[2] — простейшая разновидность, принимающая на вход только бинарные значения.

ART2^[3] — обеспечивает поддержку непрерывных значений.

ART2-A

ART3^[4] — физиологически более реалистичная версия ART2. Моделирует медиаторную регуляцию синаптической активности.

Fuzzy ART^[5] — вариант модели с применением принципов нечеткой логики.

ARTMAP Overview

ARTMAP (Predictive ART)

Fuzzy ARTMAP

Distributed ARTMAP

ARTMAP-IC

Default ARTMAP

КритикаПравить

Было замечено, что в ART1 и Fuzzy ART результаты сильно зависят от порядка предъявления обучающей выборки. Эффект может быть уменьшен понижением коэффициента скорости обучения, однако проявляется независимо от размера обучающей выборки. Поэтому результаты ART1 и Fuzzy ART моделей не являются состоятельными оценками с точки зрения математической статистики.

ПримечанияПравить

↑ Carpenter, G.A. & Grossberg, S. (2003), Adaptive Resonance Theory Архивная копия от 19 мая 2006 на Wayback Machine, In Michael A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT Press
↑ Grossberg, S. (1987), Competitive learning: From interactive activation to adaptive resonance Архивная копия от 7 сентября 2006 на Wayback Machine, Cognitive Science (Publication), 11, 23-63
↑ Carpenter, G.A. & Grossberg, S. (1987), ART 2: Self-organization of stable category recognition codes for analog input patterns Архивная копия от 4 сентября 2006 на Wayback Machine, Applied Optics, 26(23), 4919-4930
↑ Carpenter, G.A. & Grossberg, S. (1990), ART 3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures Архивная копия от 6 сентября 2006 на Wayback Machine, Neural Networks (Publication), 3, 129—152
↑ Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991b), Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system Архивная копия от 19 мая 2006 на Wayback Machine, Neural Networks (Publication), 4, 759—771

СсылкиПравить

Stephen Grossberg's website.
ART’s implementation for unsupervised learning (ART 1, ART 2A, ART 2A-C and ART distance) can be found at https://web.archive.org/web/20120109162743/http://users.visualserver.org/xhudik/art
[1] Summary of the ART algorithm

[ART_1-1] Carpenter, G.A. & Grossberg, S. (2003), Adaptive Resonance Theory Архивная копия от 19 мая 2006 на Wayback Machine, In Michael A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT Press

[AR-2] Grossberg, S. (1987), Competitive learning: From interactive activation to adaptive resonance Архивная копия от 7 сентября 2006 на Wayback Machine, Cognitive Science (Publication), 11, 23-63

[ART_2-3] Carpenter, G.A. & Grossberg, S. (1987), ART 2: Self-organization of stable category recognition codes for analog input patterns Архивная копия от 4 сентября 2006 на Wayback Machine, Applied Optics, 26(23), 4919-4930

[ART_3-4] Carpenter, G.A. & Grossberg, S. (1990), ART 3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures Архивная копия от 6 сентября 2006 на Wayback Machine, Neural Networks (Publication), 3, 129—152

[Fuzzy_ART-5] Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991b), Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system Архивная копия от 19 мая 2006 на Wayback Machine, Neural Networks (Publication), 4, 759—771

[1]

[2]

[3]

[4]

[5]