Ансамблевое обучение

Для термина «Ансамбль» см. также другие значения.

Ансамблевое обучение — техника машинного обучения, использующая несколько обученных алгоритмов с целью получения лучшей предсказательной эффективности^[en], чем можно было бы получить от каждого алгоритма по отдельности. В отличие от статистического ансамбля в статистической механике, который обычно бесконечен, ансамбль моделей в машинном обучении состоит из конкретного конечного множества альтернативных моделей, но, обычно, позволяет существовать существенно более гибким структурам.

Алгоритмы обучения с учителем наиболее часто описываются как решение задачи поиска в пространстве гипотез подходящей гипотезы — позволяющей делать хорошие предсказания для конкретной задачи. Но поиск хорошей гипотезы может оказаться трудной задачей. Ансамбль использует комбинацию нескольких гипотез в надежде, что она окажется лучше, чем гипотезы по отдельности. Термин «ансамбль» обычно резервируется для методов, которые генерируют несколько гипотез с помощью одного и того же базового учителя^[что?]. Более широкое понятие системы множественных классификаторов также использует несколько гипотез, но сгенерированных не с помощью одного и того же учителя.

Вычисление предсказания ансамбля обычно требует больше вычислений, чем предсказание одной модели, так что ансамбли можно рассматривать как способ компенсации плохого алгоритма обучения путём дополнительных вычислений. В ансамбле моделей обычно используются быстрые алгоритмы, такие как деревья решений^[en] (например, случайные леса), хотя медленные алгоритмы могут получить также преимущества от техники сборки в ансамбль.

По аналогии, техника сборки в ансамбль используется также и в сценариях обучения без учителя, например, в кластеризации на основе согласия^[en] или в выявлении аномалий.

Теория сборки в ансамбльПравить

Ансамбль сам по себе является алгоритмом обучения с учителем, поскольку он может быть тренирован и затем использован для осуществления предсказания. Тренированный ансамбль, поэтому, представляет одну гипотезу. Эта гипотеза, однако, не обязательно лежит в пространстве гипотез моделей, из которых она построена. Таким образом, ансамбли могут иметь большую гибкость в функциях, которые они могут представлять. Эта гибкость может, в теории, быстрее привести их к переобучению по тренировочным данным, чем могло быть в случае отдельной модели, но, на практике, некоторые техники сборки в ансамбль (особенно бэггинг) склонны уменьшить проблемы, связанные с переобучением на тренировочных данных.

Эмпирически ансамбли склонны давать результаты лучше, если имеется существенное отличие моделей. Многие ансамбли поэтому стараются повысить различие в моделях, которые они комбинируют. Хотя, возможно, неинтуитивные, более случайные алгоритмы (подобные случайным деревьям решений) могут быть использованы для получения более строгих ансамблей, чем продуманные алгоритмы (такие как деревья решений с уменьшением энтропии). Использование различных алгоритмов строгого обучения, однако, как было показано, более эффективно, чем использование техник, которые пытаются упростить модели с целью обеспечить большее различие.

Размер ансамбляПравить

В то время как число классификаторов в ансамбле имеют большое влияние на точность предсказания, имеется лишь ограниченное число статей, изучающих эту проблему. Определение априори размера ансамбля и размеров скорости больших потоков данных делает этот фактор даже более критичным для онлайновых ансамблей классификаторов. Большинство статистических тестов были использованы для определения подходящего числа компонент. Относительно недавно теоретический фреймворк дал повод предположить, что имеется идеальное число классификаторов ансамбля, такое, что число классификаторов больше или меньше этого идеального числа приводит к ухудшению точности. Это называется «законом убывания отдачи в построении ансамбля». Этот теоретический фреймворк показывает, что использование числа независимых классификаторов, равного числу меток класса, даёт наибольшую точность.

Часто используемые типы ансамблейПравить

Байесовский оптимальный классификаторПравить

Байесовский оптимальный классификатор — это техника классификации. Он является ансамблем всех гипотез из пространства гипотез. В среднем ни один из ансамблей не может превосходить его. Простой байесовский оптимальный классификатор — это версия, которая предполагает, что данные условно независимы от класса, и выполняет вычисления за более реальное время. Каждой гипотезе даётся голос, пропорциональный вероятности того, что тренировочные данные будут выбраны из системы, если гипотеза была бы верна. Для получения тренировочных данных конечного размера голос каждой гипотезы умножается на априорную вероятность такой гипотезы. Байесовский оптимальный классификатор можно выразить следующим равенством:

$y=\underset{c_j\in <!--\; \in \; -->C}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\underset{h_i\in <!--\; \in \; -->H}{\sum <!--\; \sum \; -->}P(c_j|h_i)P(T|h_i)P(h_i)$$y={\underset {c_{j}\in C}{\mathrm {argmax} }}\sum _{h_{i}\in H}{P(c_{j}|h_{i})P(T|h_{i})P(h_{i})}$ ,

где $y$$y$  предсказанный класс, $C$$C$  является множеством всех возможных классов, $H$$H$  является классом гипотез, $P$$P$  относится к вероятности, а $T$$T$  является тренировочными данными. Как ансамбль байесовский оптимальный классификатор представляет гипотезу, которая не обязательно принадлежит в $H$$H$ . Гипотеза, представленная байесовским оптимальным классификатором, однако, является оптимальной гипотезой в пространстве ансамблей (пространство всех возможных ансамблей, состоящих только из гипотез пространства $H$$H$ ).

Формулу можно переписать с помощью теоремы Байеса, которая гласит, что постериорная вероятность пропорциональна априорной вероятности:

$P(h_i|T)\propto <!--\; \propto \; -->P(T|h_i)P(h_i)$$P(h_{i}|T)\propto P(T|h_{i})P(h_{i})$ 

откуда

$y=\underset{c_j\in <!--\; \in \; -->C}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\underset{h_i\in <!--\; \in \; -->H}{\sum <!--\; \sum \; -->}P(c_j|h_i)P(h_i|T)$$y={\underset {c_{j}\in C}{\mathrm {argmax} }}\sum _{h_{i}\in H}{P(c_{j}|h_{i})P(h_{i}|T)}$ 

БэггингПравить

Основная статья: Бэггинг

Бутстрэп-агрегирование, часто сокращаемое до бэггинг, даёт каждой модели в ансамбле одинаковый вес (голос). Чтобы поддерживать вариантность, бэггинг тренирует каждую модель в ансамбле с помощью случайно отобранного подмножества из тренировочного множества. Как пример, алгоритм «случайного леса» комбинирует случайные деревья решений с бэггингом, чтобы получить высокую точность классификации.

БустингПравить

Основная статья: Бустинг

Бустинг строит ансамбль последовательными приращениями путём тренировки каждой новой модели, чтобы выделить тренировочные экземпляры, которые предыдущие модели классифицировали ошибочно. В некоторых случаях бустинг, как было показано, даёт лучшие результаты, чем бэггинг, но имеет тенденцию к переобучению на тренировочных данных. Наиболее частой реализацией бустинга является алгоритм AdaBoost, хотя есть утверждения, что некоторые более новые алгоритмы дают лучшие результаты.

Усреднение байесовских параметровПравить

Усреднение байесовских параметров (англ. Bayesian parameter averaging, BPA) — это техника сборки ансамбля, которая пытается аппроксимировать байесовский оптимальный классификатор путём семплинга из пространства гипотез и комбинирования их с помощью закона Байеса. В отличие от байесовского оптимального классификатора, байесовская модель усреднения может быть практически реализована. Гипотезы обычно отбираются с помощью техники Монте-Карло, такой как MCMC^[en]. Например, может быть использовано семплирование по Гиббсу для выборки гипотез, которые представляют распределение $P(T|H)$$P(T|H)$ . Было показано, что при некоторых обстоятельствах, если гипотезы выбираются таким образом и усредняются согласно закону Байеса, эта техника имеет ожидаемую ошибку, которая ограничена удвоенной ожидаемой ошибки байесовского оптимального классификатора. Несмотря на теоретическую корректность этой техники, в ранних работах на основе экспериментальных данных было высказано предположение, что метод склонен к переобучению и ведёт себя хуже, чем простые техники сборки ансамбля, такие как бэггинг. Однако эти заключения были основаны на недопонимании цели байесовской модели усреднения для комбинации моделей. Кроме того, есть существенные преимущества в теории и практике БМУ. Недавние строгие доказательства показывают точность БМУ для выбора переменных и оценке при многомерных условиях и дают эмпирическое свидетельство существенной роли обеспечения разреженности в БМУ в смягчении переобучения.

Комбинация байесовских моделейПравить

Комбинация байесовских моделей (КБМ, англ. Bayesian model combination, BMC) — это алгоритмическое исправление байесовской модели усреднения (БМУ, англ. Bayesian model averaging, BMA). Вместо выбора каждой модели в ансамбль индивидуально, алгоритм отбирает из пространства возможных ансамблей (с весами моделей, выбранных случайно из распределения Дирихле с однородными параметрами). Эта модификация позволяет избежать тенденцию БМУ отдать полный вес одной модели. Хотя КБМ вычислительно несколько более расточителен по сравнению с БМУ, он даёт существенно лучшие результаты. Результаты КБМ, как было показано, в среднем лучше, чем БМУ и бэггинг.

Использование закона Байеса для вычисления весов модели неизбежно влечёт вычисление вероятности данных для каждой модели. Обычно ни одна из моделей в ансамбле не имеет точно такое же распределение, что и тренировочные данные, из которых они сгенерированы, так что все члены корректно получают значение, близкое к нулю. Это хорошо бы работало, если бы ансамбль был достаточно большим для выборки из полного пространства моделей, но такое редко случается возможным. Следовательно, каждый представитель тренировочного набора вызывает вес ансамбля сдвигаться к модели в ансамбле, которая наиболее близка к распределению тренировочных данных. Это существенно уменьшает необходимость чрезмерно сложного метода выбора модели.

Возможные веса для ансамбля можно представить как лежащие на симплексе. На каждой вершине симплекса все веса задаются отдельной моделью ансамбля. БМУ сходится к вершине, которая ближе по распределению с тренировочными данными. Для контраста, КБМ сходится к точке, где это распределение проектируется в симплекс. Другими словами, вместо выбора одной модели, которая ближе всего к распределению, метод ищет комбинацию моделей, наиболее близкой к распределению.

Результаты БМУ можно часто аппроксимировать с помощью перекрёстной проверки для выбора модели из ведра моделей. Аналогично, результаты КБМ можно аппроксимировать с помощью перекрёстной проверки для выбора лучшей комбинации ансамблей из случайной выборки возможных весов.

Ведро моделейПравить

«Ведро моделей» (англ. bucket of models) является техникой сбора ансамбля, в которой используется алгоритм выбора модели для получения лучшей модели для каждой задачи. Когда тестируется только одна задача, ведро моделей не может дать результат лучше, чем лучшая модель в наборе, однако в случае прогона для нескольких задач, алгоритм обычно даёт более хорошие результаты, чем любая модель в наборе.

Наиболее частый подход, используемый для выбора модели,— это перекрёстная выборка. Он описывается следующим псевдокодом:

Для каждой модели в ведре:
  Выполнить c раз: (где 'c' — некоторая константа)
    Случайным образом делим тренировочные данные на два набора: A и B.
    Тренируем m по A
    Проверяем m по B
Выбираем модель, которая покажет высший средний результат

Перекрёстная выборка может быть описана как: «прогони все на тренировочном множестве и выбери тот, что работает лучше».

Выделение (англ. Gating) является обобщением перекрёстной выборки. Метод вовлекает тренировку другой модели обучения для решения, какая из моделей в ведре больше подходит для решения задачи. Часто для выделения модели используется перцептрон. Он может быть использован для выбора «лучшей» модели, или он может быть использован для получения линейного веса для предсказаний из каждой модели в ведре.

Когда ведро моделей используется с большим набором задач, может быть желательным избежать тренировки некоторых моделей, которые требуют долгого времени тренировки. Ландмарк-обучение — это метаобучающий подход, который ищет решение этой задачи. Он вовлекает для тренировки только быстрые (но неточные) алгоритмы, а затем используется эффективность этих алгоритмов для определения, какой из медленных (но точных) алгоритмов выбрать как лучший.

СтогованиеПравить

Стогование (иногда называемое стековое обобщение) вовлекает тренировку обучающего алгоритма для комбинирования предсказаний нескольких других обучающих алгоритмов. Сначала все другие алгоритмы тренируются с помощью допустимых данных, затем алгоритмы комбинирования тренируются с целью сделать конечное предсказание с помощью всех предсказаний других алгоритмов как дополнительный вход. Если используется произвольный алгоритм комбинирования, то стогование может теоретически представлять любую технику создания ансамблей, описанную в этой статье, хотя, на практике, модель логистической регрессии часто используется в качестве средства алгоритма комбинирования.

Стогование обычно даёт лучшую эффективность, чем любая отдельная из тренировочных моделей. Оно было успешно использовано как в задачах обучения с учителем (регрессии, классификации и дистанционного обучения), так и задачах обучения без учителя (оценка плотности). Он использовался также для оценки ошибки бэггинга. Утверждалось, что метод превзошёл байесовскую модель усреднения. Два призёра конкурса Netflix используют смешивание, которое можно считать формой стогования.

Реализация в статистических пакетахПравить

• R: по мешьшей мере три пакета предлагают средства для байесовской модели усреднения, включая пакет BMS (сокращение от Bayesian Model Selection), пакет BAS (сокращение от Bayesian Adaptive Sampling) и пакет BMA. Пакет H2O предлагает большое число моделей обучении машин, включая модель сборки ансамбля, которая может быть тренирована с помощью Spark.
• Python: Scikit-learn, пакет для машинного обучения на языке Python, предлагает пакеты для обучения ансамблей, включая пакеты для бэггинга и методов усреднения.
• MATLAB: ансамбли классификаторов реализованы в наборе средств Statistics и Machine Learning.

Приложения обучения с помощью ансамблейПравить

В недавние годы, вследствие растущей вычислительной мощности, позволяющей тренировку больших тренировочных обучающих ансамблей в разумное время, число приложений росло всё быстрее. Некоторые из приложений ансамблей классификаторов приведены ниже.

Дистанционное зондирование ЗемлиПравить

Основная статья: Дистанционное зондирование Земли

Отражение растительного покроваПравить

Отражение растительного покрова^[en] является одним из главных приложений наблюдения за Землёй^[en], использующим дистанционное зондирование и географические данные^[en] для распознавания объектов, которые расположены на поверхности целевых областей. Как правило, классы целевого материала включают дороги, здания, реки, озёра и растительность. Были предложены некоторые различные подходы обучения ансамблей, базирующихся на искусственных нейронных сетях, ядерном методе главных компонент^[en] (англ. kernel principal component analysis, KPCA), деревьях решений с бустингом, случайных лесах и автоматическом создании нескольких систем классификаторов, для эффективного распознавания объектов растительного покрова.

Обнаружение измененийПравить

Обнаружение изменений^[en] является задачей анализа изображений^[en], заключающейся в идентификации мест, где растительный покров изменился с течением времени. Обнаружение изменений^[en] широко используется в таких областях, как рост городов^[en], динамика изменений в лесах и растительности^[en], землепользование и обнаружение стихийных бедствий^[en]. Ранние приложения ансамблей классификаторов в определении изменений разрабатывались с помощью голосования большинством голосов^[en], байесовского среднего^[en] и оценки апостериорного максимума.

Защита компьютераПравить

DoS-атакаПравить

Распределенная атака типа отказа в обслуживании является одной и самых угрожающих кибератак, которая может случаться с интернет-провайдером. Путём комбинирования выхода отдельных классификаторов ансамбль классификаторов снижает общую ошибку детектирования и отделения таких атак от законных флешмобов.

Обнаружение вредоносных программПравить

Классификация кодов вредоносных программ, таких как компьютерные вирусы, сетевые черви, трояны, вирусы-вымогатели и программы-шпионы, с помощью техник машинного обучения, навеяна задачей категоризации документов. Системы обучения ансамблей показали надёжную эффективность в этой области.

Обнаружение вторженияПравить

Система обнаружения вторжений отслеживает для идентификации кодов вторжения компьютерную сеть или компьютеры подобно процессу выявления аномалий. Обучение ансамблей успешно помогает таким системам сокращать общее число ошибок.

Распознавание лицПравить

Основная статья: Распознавание лиц

Распознавание лиц, которое недавно стало наиболее популярной областью исследований в распознавания образов, справляется с идентификацией или верификацией личности по его/её цифровому изображению.

Иерархические ансамбли, основанные на классификаторе Габора Фишера и техниках предварительной обработки данных при анализе независимых компонентов^[en], являются некоторыми ранними ансамблями, используемыми в этой области.

Распознавание эмоцийПравить

Основная статья: Распознавание эмоций

В то время как распознавание речи главным образом основывается на глубоком обучении, поскольку большинство индустриальных игроков в этой области, такие как Google, Microsoft и IBM, используют его в качестве основы технологии распознавания речи, основанное на разговоре распознавание эмоций^[en] может иметь удовлетворительные показатели с обучением ансамбля.

Метод также успешно использовался в распознавании эмоций на лице.

Выявление мошенничестваПравить

Основная статья: Мошенничество

Выявление мошенничества имеет дело с идентификацией банковского мошенничества^[en], такого как отмывание денег, мошенничество с платежными картами и телекоммуникационное мошенничество. Выявление мошенничества имеет широкие возможности для исследования и применения машинного обучения. Поскольку обучение ансамбля улучшает устойчивость нормального поведения моделирования, оно было предложено в качестве эффективной техники определения таких случаев мошенничества и подозрительной активности в банковских операциях в системах кредитных карт.

Принятие финансовых решенийПравить

Точность предсказания коммерческого краха является важнейшим вопросом при принятии финансовых решений, поэтому были предложены различные ансамбли классификаторов для предсказания финансовых кризисов и финансовых крахов^[en]. Также в задаче манипуляции на основе торгов, где трейдеры пытаются манипулировать ценами акций путём покупки или продажи, ансамблю классификаторов требуется проанализировать изменения в данных на рынке ценных бумаг и определить симптомы подозрительных манипуляций с ценами акций.

МедицинаПравить

Система классификаторов успешно применена в нейронауках, протеомике и медицинской диагностике, таких как распознавание нейрокогнитивных расстройств^[en] (то есть болезни Альцгеймера или миотонической дистрофии^[en]) основанного на данных магнитно-резонансной томографии или классификация цитологии шейки матки на основе микроскопии.

См. такжеПравить

• Усреднение ансамбля (машинное обучение)^[en]
• Байесовский структурный временной ряд^[en] (BSTS)

ЛитератураПравить

• Opitz D., Maclin R. Popular ensemble methods: An empirical study // Journal of Artificial Intelligence Research. — 1999. — Т. 11. — С. 169—198. — doi:10.1613/jair.614.
• Polikar R. Ensemble based systems in decision making // IEEE Circuits and Systems Magazine. — 2006. — Т. 6, вып. 3. — С. 21—45. — doi:10.1109/MCAS.2006.1688199.
• Rokach L. Ensemble-based classifiers // Artificial Intelligence Review. — 2010. — Т. 33, вып. 1—2. — doi:10.1007/s10462-009-9124-7.
• Kuncheva L., Whitaker C. Measures of diversity in classifier ensembles and Their Relationship with the Ensemble Accuracy // Machine Learning. — 2003. — Т. 51, вып. 2.
• Sollich P., Krogh A. Learning with ensembles: How overfitting can be useful // Advances in Neural Information Processing Systems. — 1996. — Т. 8.
• Brown G., Wyatt J., Harris R., Yao X. Diversity creation methods: a survey and categorization // Information Fusion. — 2005. — Т. 6, вып. 1.
• J. J. García Adeva, Ulises Cerviño, R. Calvo. Accuracy and Diversity in Ensembles of Text Categorisers // CLEI Journal. — 2005. — Декабрь (т. 8, вып. 2). Архивировано 7 июля 2011 года.
• Ho T. Random Decision Forests // Proceedings of the Third International Conference on Document Analysis and Recognition. — 1995.
• Gashler M., Giraud-Carrier C., Martinez T. Decision Tree Ensemble: Small Heterogeneous Is Better Than Large Homogeneous // The Seventh International Conference on Machine Learning and Applications. — 2008. — doi:10.1109/ICMLA.2008.154.
• Hamed R. Bonab, Fazli Can. A Theoretical Framework on the Ideal Number of Classifiers for Online Ensembles in Data Streams // 25th Conference on Information and Knowledge Management. — USA: ACM, 2016. — doi:10.1145/2983323.2983907.
• Hamed R. Bonab, Fazli Can. Less Is More: A Comprehensive Framework for the Number of Components of Ensemble Classifiers // IEEE Transactions on Neural Networks and Learning Systems 2017. — USA: IEEE, 2017.
• Tom M. Mitchell. Machine Learning. — McGraw-Hill Science/Engeneering/Math, 1997. — ISBN 0070428077.
• Breiman, L. Bagging Predictors // Machine Learning. — 1996. — Т. 24, вып. 2.
• Hoeting J. A., Madigan D., Raftery A. E., Volinsky C. T. Bayesian Model Averaging: A Tutorial // Statistical Science. — 1999. — Т. 14, вып. 4. — doi:10.2307/2676803. — JSTOR 2676803.
• David Haussler, Michael Kearns, Robert E. Schapire. Bounds on the sample complexity of Bayesian learning using information theory and the VC dimension // Machine Learning. — 1994. — Т. 14.
• Pedro Domingos. Bayesian averaging of classifiers and the overfitting problem // Proceedings of the 17th International Conference on Machine Learning (ICML). — 2000. — С. 223——230.
• Thomas Minka. Bayesian model averaging is not model combination. — 2002.
• Castillo I., Schmidt-Hieber J., van der Vaart A. Bayesian linear regression with sparse priors // Annals of Statistics. — 2015. — Т. 43, вып. 5. — doi:10.1214/15-AOS1334. — arXiv:1403.0735.
• Hernández-Lobato D., Hernández-Lobato J. M., Dupont P. Generalized Spike-and-Slab Priors for Bayesian Group Feature Selection Using Expectation Propagation // Journal of Machine Learning Research. — 2013. — Т. 14.
• Turning Bayesian Model Averaging into Bayesian Model Combination // Proceedings of the International Joint Conference on Neural Networks IJCNN'11. — 2011. — С. 2657—2663.
• Saso Dzeroski, Bernard Zenko. Is Combining Classifiers Better than Selecting the Best One // Machine Learning. — 2004.
• Hilan Bensusan, Christophe G. Giraud-Carrier. Discovering Task Neighbourhoods Through Landmark Learning Performances // PKDD '00: Proceedings of the 4th European Conference on Principles of Data Mining and Knowledge Discovery. — Springer-Verlag, 2000.
• Smyth P., Wolpert D. H. Linearly Combining Density Estimators via Stacking // Machine Learning Journal. — 1999. — Т. 36.
• Wolpert D.H., Macready W.G. An Efficient Method to Estimate Bagging’s Generalization Error // Machine Learning Journal. — 1999. — Т. 35.
• Clarke B. Bayes model averaging and stacking when model approximation error cannot be ignored // Journal of Machine Learning Research. — 2003.
• Wolpert D. Stacked Generalization // Neural Networks. — 1992. — Т. 5, вып. 2.
• Breiman L. Stacked Regression // Machine Learning. — 1996. — Т. 24. — doi:10.1007/BF00117832.
• Ozay M., Yarman Vural F. T. A New Fuzzy Stacked Generalization Technique and Analysis of its Performance. — 2013. — Bibcode: 2012arXiv1204.0171O. — arXiv:1204.0171.
• Sill J., Takacs G., Mackey L., Lin D. Feature-Weighted Linear Stacking. — 2009. — Bibcode: 2009arXiv0911.0460S. — arXiv:0911.0460.
• Shahram M. Amini, Christopher F. Parmeter. Bayesian model averaging in R // Journal of Economic and Social Measurement. — 2011. — Т. 36, вып. 4.
• Michał Woźniak, Manuel Graña, Emilio Corchado. A survey of multiple classifier systems as hybrid systems // Information Fusion. — 2014. — Март (т. 16). — doi:10.1016/j.inffus.2013.04.006.
• Rodriguez-Galiano V.F., Ghimire B., Rogan J., Chica-Olmo, M., Rigol-Sanchez J.P. An assessment of the effectiveness of a random forest classifier for land-cover classification // ISPRS Journal of Photogrammetry and Remote Sensing. — 2012. — Т. 67. — doi:10.1016/j.isprsjprs.2011.11.002. — Bibcode: 2012JPRS...67...93R.
• Giorgio Giacinto, Fabio Roli. Design of effective neural network ensembles for image classification purposes // Image and Vision Computing. — 2001. — Август (т. 19, вып. 9—10). — doi:10.1016/S0262-8856(01)00045-2.
• Junshi Xia, Naoto Yokoya, Yakira Iwasaki. A novel ensemble classifier of hyperspectral and LiDAR data using morphological features // 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — 2017. — Март. — doi:10.1109/ICASSP.2017.7953345.
• Mochizuki S., Murakami T. Accuracy comparison of land cover mapping using the object-oriented image classification with machine learning algorithms // 33rd Asian Conference on Remote Sensing 2012, ACRS 2012. — 2012. — Ноябрь (т. 1).
• Giacinto G., Roli F., Fumera G. Design of effective multiple classifier systems by clustering of classifiers // Proceedings 15th International Conference on Pattern Recognition. ICPR-2000. — 2000. — Сентябрь. — doi:10.1109/ICPR.2000.906039.
• Peijun Du, Sicong Liu, Junshi Xia, Yindi Zhao. Information fusion techniques for change detection from multi-temporal remote sensing images // Information Fusion. — 2013. — Январь (т. 14, вып. 1). — doi:10.1016/j.inffus.2012.05.003.
• Lorenzo Bruzzone, Roberto Cossu, Gianni Vernazza. Combining parametric and non-parametric algorithms for a partially unsupervised classification of multitemporal remote-sensing images // Information Fusion. — 2002. — Декабрь (т. 3, вып. 4). — doi:10.1016/S1566-2535(02)00091-X.
• P. Arun Raj Kumar, S. Selvakumar. Distributed denial of service attack detection using an ensemble of neural classifier // Computer Communications. — 2011. — Июль (т. 34, вып. 11). — doi:10.1016/j.comcom.2011.01.012.
• Asaf Shabtai, Robert Moskovitch, Yuval Elovici, Chanan Glezer. Detection of malicious code by applying machine learning classifiers on static features: A state-of-the-art survey // Information Security Technical Report. — 2009. — Февраль (т. 14, вып. 1). — doi:10.1016/j.istr.2009.03.003.
• Boyun Zhang, Jianping Yin, Jingbo Hao, Dingxing Zhang, Shulin Wang. Malicious Codes Detection Based on Ensemble Learning // Autonomic and Trusted Computing. — 2007. — doi:10.1007/978-3-540-73547-2_48.
• Eitan Menahem, Asaf Shabtai, Lior Rokach, Yuval Elovici. Improving malware detection by applying multi-inducer ensemble // Computational Statistics & Data Analysis. — 2009. — Февраль (т. 53, вып. 4). — doi:10.1016/j.csda.2008.10.015.
• Michael E. Locasto, Ke Wang, Angeles D. Keromytis, J. Stolfo Salvatore. FLIPS: Hybrid Adaptive Intrusion Prevention // Recent Advances in Intrusion Detection. — 2005. — doi:10.1007/11663812_5.
• Giorgio Giacinto, Roberto Perdisci, Mauro Del Rio, Fabio Roli. Intrusion detection in computer networks by a modular ensemble of one-class classifiers // Information Fusion. — 2008. — Январь (т. 9, вып. 1). — doi:10.1016/j.inffus.2006.10.002.
• Xiaoyan Mu, Jiangfeng Lu, Paul Watta, Mohamad H. Hassoun. Weighted voting-based ensemble classifiers with application to human face recognition and voice recognition // 2009 International Joint Conference on Neural Networks. — 2009. — Июль. — doi:10.1109/IJCNN.2009.5178708.
• Su Yu, Shiguang Shan, Xilin Chen, Wen Gao. Hierarchical ensemble of Gabor Fisher classifier for face recognition // Automatic Face and Gesture Recognition, 2006. FGR 2006. 7th International Conference on Automatic Face and Gesture Recognition (FGR06). — 2006. — Апрель. — doi:10.1109/FGR.2006.64.
• Su Yu, Shiguang Shan, Xilin Chen, Wen Gao. Patch-based gabor fisher classifier for face recognition // Proceedings - International Conference on Pattern Recognition. — 2006. — Сентябрь (т. 2). — doi:10.1109/ICPR.2006.917.
• Yang Liu, Yongzheng Lin, Yuehui Chen. Ensemble Classification Based on ICA for Face Recognition // Proceedings - 1st International Congress on Image and Signal Processing, IEEE Conference, CISP 2008. — 2008. — Июль. — doi:10.1109/CISP.2008.581.
• Steven A. Rieger, Rajani Muraleedharan, Ravi P. Ramachandran. Speech based emotion recognition using spectral feature extraction and an ensemble of kNN classifiers // Proceedings of the 9th International Symposium on Chinese Spoken Language Processing, ISCSLP 2014. — 2014. — doi:10.1109/ISCSLP.2014.6936711.
• Jarek Krajewski, Anton Batliner, Silke Kessel. Comparing Multiple Classifiers for Speech-Based Detection of Self-Confidence - A Pilot Study // 20th International Conference on Pattern Recognition. — 2010. — doi:10.1109/ICPR.2010.905.
• P. Ithaya Rani, K. Muneeswaran. Recognize the facial emotion in video sequences using eye and mouth temporal Gabor features // Multimedia Tools and Applications. — 2016. — Май (т. 76, вып. 7). — doi:10.1007/s11042-016-3592-y.
• P. Ithaya Rani, K. Muneeswaran. Facial Emotion Recognition Based on Eye and Mouth Regions // International Journal of Pattern Recognition and Artificial Intelligence. — 2016. — Август (т. 30, вып. 07). — doi:10.1142/S021800141655020X.
• P. Ithaya Rani, K. Muneeswaran. Emotion recognition based on facial components // Sādhanā. — 2018. — Март (т. 43, вып. 3). — doi:10.1007/s12046-018-0801-6.
• Francisco Louzada, Anderson Ara. Bagging k-dependence probabilistic networks: An alternative powerful fraud detection tool // Expert Systems with Applications. — 2012. — Октябрь (т. 39, вып. 14). — doi:10.1016/j.eswa.2012.04.024.
• G. Ganesh Sundarkumar, Vadlamani Ravi. A novel hybrid undersampling method for mining unbalanced datasets in banking and insurance // Engineering Applications of Artificial Intelligence. — 2015. — Январь (т. 37). — doi:10.1016/j.engappai.2014.09.019.
• Yoonseong Kim, So Young Sohn. Stock fraud detection using peer group analysis // Expert Systems with Applications. — 2012. — Август (т. 39, вып. 10). — doi:10.1016/j.eswa.2012.02.025.
• Yoonseong Kim, So Young Sohn. Stock fraud detection using peer group analysis // Expert Systems with Applications. — 2012. — Август (т. 39, вып. 10). — doi:10.1016/j.eswa.2012.02.025.
• Savio A., García-Sebastián M.T., Chyzyk D., Hernandez C., Graña M., Sistiaga A., López de Munain A., Villanúa J. Neurocognitive disorder detection based on feature vectors extracted from VBM analysis of structural MRI // Computers in Biology and Medicine. — 2011. — Август (т. 41, вып. 8). — doi:10.1016/j.compbiomed.2011.05.010.
• Ayerdi B., Savio A., Graña M. Meta-ensembles of classifiers for Alzheimer's disease detection using independent ROI features // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). — 2013. — Июнь (вып. Part 2). — doi:10.1007/978-3-642-38622-0_13.
• Quan Gu, Yong-Sheng Ding, Tong-Liang Zhang. An ensemble classifier based prediction of G-protein-coupled receptor classes in low homology // Neurocomputing. — 2015. — Апрель (т. 154). — doi:10.1016/j.neucom.2014.12.013.
• Zhou Zhihua. Ensemble Methods: Foundations and Algorithms. — Chapman and Hall/CRC, 2012. — ISBN 978-1-439-83003-1.
• Robert Schapire, Yoav Freund. Boosting: Foundations and Algorithms. — MIT, 2012. — ISBN 978-0-262-01718-3.