Sparrow (бот)

Sparrow — чат-бот, разработанный исследовательской лабораторией искусственного интеллекта DeepMind, дочерней компанией Alphabet Inc. Он предназначен для того, чтобы правильно отвечать на вопросы пользователей, снижая при этом риск небезопасных и неуместных ответов/ Одним из мотивов создания Sparrow является решение проблемы языковых моделей, производящих неверные, предвзятые или потенциально вредные результаты. Sparrow обучается с использованием человеческих суждений, чтобы быть более «полезным, правильным и безвредным» по сравнению с базовыми предварительно обученными языковыми моделями. При разработке Sparrow участникам платного исследования предлагалось взаимодействовать со Sparrow, а также собирались их предпочтения для обучения модели полезности ответа.

Sparrow
Тип	виртуальный собеседник
Разработчик	DeepMind

Чтобы улучшить правильность и помочь избежать проблемы «галлюцинации», Sparrow имеет возможность поиска в Интернете с помощью Google Search, чтобы найти и процитировать доказательства любых заявлений о фактах, которые он делает.

Чтобы сделать модель более безопасной, её поведение ограничивается набором правил, например, «не делать угрожающих заявлений» и «не делать ненавистных или оскорбительных комментариев», а также правил о возможно вредных советах и непритязаниях выдавать себя за человека. Во время исследования участников попросили пообщаться с системой и попытаться обманом заставить ее нарушить эти правила. На суждениях этих участников была обучена «модель правил», которая использовалась для дальнейшего обучения.

Sparrow была представлена в сентябре 2022 года в документе под названием «Улучшение согласования диалоговых агентов с помощью целенаправленных человеческих суждений», однако он не был опубликован публично. Генеральный директор DeepMind Демис Хассабис сказал, что DeepMind рассматривает возможность выпуска Sparrow в виде «частной бета-версии» где-то в 2023 году.

ОбучениеПравить

Sparrow — глубокая нейронная сеть, основанная на архитектуре модели машинного обучения "трансформер" . Она точно настроена на основе предварительно обученной большой языковой модели DeepMind Chinchilla AI (LLM), которая имеет 70 миллиардов весов.

Sparrow обучается с использованием обучения с подкреплением на основе обратной связи с человеком (RLHF), хотя также используются некоторые контролируемые методы тонкой настройки. В обучении RLHF используются две модели вознаграждения, учитывающие человеческие суждения; «модель предпочтений», которая предсказывает, что предпочтет участник исследования, и «модель правил», которая предсказывает, нарушила ли модель одно из правил.

ОграниченияПравить

Корпус обучающих данных Sparrow в основном на английском языке, а это означает, что на других языках он работает хуже. 

При враждебной тактике со стороны участников исследования модель нарушает правила в 8% случаев, однако это всё ещё в 3 раза ниже, чем у предварительно обученной модели с подсказкой базового уровня (Chinchilla).

См. такжеПравить

• Этика искусственного интеллекта
• Обработка естественного языка
• Техника подсказок

СсылкиПравить

• White paper
• Blog post