ChatGPT
ChatGPT — чат-бот с искусственным интеллектом, разработанный компанией OpenAI и способный работать в диалоговом режиме, поддерживающий запросы на естественных языках. ChatGPT — большая языковая модель (language model[en]), для тренировки которой использовались методы обучения с учителем и обучения с подкреплением. Данный чат-бот основывается на другой языковой модели от OpenAI — GPT-3.5 — улучшенной версии модели GPT-3.
ChatGPT | |
---|---|
| |
Тип | языковая модель[d], виртуальный собеседник, прототип, искусственный интеллект и проприетарное программное обеспечение |
Автор | OpenAI |
Разработчик | OpenAI |
Языки интерфейса | Многоязычный, в том числе русский |
Первый выпуск | 30 ноября 2022 года |
Последняя версия | |
Состояние | Функционирует |
Лицензия | Проприетарная |
Сайт | chat.openai.com/chat |
Медиафайлы на Викискладе |
ChatGPT был запущен 30 ноября 2022 года и привлёк внимание своими широкими возможностями: написание кода, создание текстов, возможности перевода, получения точных ответов и использование контекста диалога для ответов, хотя его фактическая точность и подверглась критике.
В начале февраля 2023 года Reuters со ссылкой на швейцарский холдинг UBS сообщило, что за 2 месяца аудитория активных пользователей ChatGPT достигла 100 млн человек. Этим самым приложение установило исторический рекорд по росту посетителей[2].
ОсобенностиПравить
ChatGPT был доработан поверх GPT-3.5 с использованием методов обучения с учителем, так и с подкреплением[3]. В обоих подходах использовались люди-тренеры для улучшения производительности модели. В случае обучения с учителем модель была снабжена беседами, в которых тренеры играли обе стороны: пользователя и помощника по искусственному интеллекту. На этапе подкрепления инструкторы-люди сначала оценивали ответы, которые модель создала в предыдущем разговоре. Эти оценки были использованы для создания моделей вознаграждения, на которых модель была дополнительно доработана с использованием нескольких итераций Proximal Policy Optimization[4][5]. Алгоритмы Proximal Policy Optimization имеют преимущество по затратам по сравнению с алгоритмами Region Policy Optimization; они сводят на нет многие дорогостоящие в вычислительном отношении операции с более высокой производительностью[6][7]. Модели были обучены в сотрудничестве с Microsoft на их суперкомпьютерной инфраструктуре Azure.
По сравнению со своим предшественником, InstructGPT, ChatGPT пытается уменьшить количество вредных и вводящих в заблуждение ответов. Например, в то время как InstructGPT воспринимает сообщение о том, что Христофор Колумб прибыл в США в 2015 году как правдивое, ChatGPT использует информацию о путешествиях Колумба и информацию о современном мире, включая восприятие личности Колумба, чтобы построить ответ, предполагающий, что произошло бы, если бы Колумб приплыл в США в 2015 году[4]. Данные в распоряжении у ChatGPT включают в себя справочные страницы, информацию об интернет-феноменах и информацию о языках программирования[8].
В отличие от большинства чат-ботов, ChatGPT отслеживает состояние пользователя, запоминая предыдущие вопросы и ответы, данные ему в том же разговоре, что, по мнению некоторых журналистов, позволит использовать ChatGPT в качестве персонализированного терапевта[9]. В попытке предотвратить выдачу оскорбительных результатов от запросов пользователей и получение оскорбительных ответов, в ChatGPT запросы фильтруются через API модерации, а потенциально расистские или сексистские подсказки отклоняются[4][9].
ChatGPT имеет множество ограничений. Модель вознаграждения ChatGPT, разработанная с учетом человеческого надзора, может быть чрезмерно оптимизирована и, таким образом, снижать производительность, представляя собой закон Гудхарта[10]. При обучении рецензенты предпочитали более длинные ответы, независимо от фактического понимания или фактического содержания[4]. Данные у ChatGPT могут страдать от алгоритмической предвзятости; ответы, включающие расплывчатые описания людей, таких как генеральный директор, могут генерировать ответ, предполагающий, что такой человек, например, является белым мужчиной[11].
РеакцияПравить
ChatGPT был встречен в целом положительными отзывами. Саманта Лок из The Guardian отметила, что он смог сгенерировать впечатляюще подробный и похожий на человеческий текст[12]. Технический писатель Дэн Гиллмор использовал ChatGPT в студенческом задании и обнаружил, что сгенерированный им текст соответствует тому, что мог бы предоставить хороший студент, и высказал мнение, что перед академическими кругами стоят некоторые очень серьёзные проблемы[13]. Алекс Кантровиц из Slate одобрил ответ ChatGPT на вопросы, связанные с нацистской Германией, включая утверждение о том, что Адольф Гитлер строил автомагистрали в Германии, которое было встречено информацией об использовании нацистской Германией принудительного труда[14]. В статье, посвящённой мнению, экономист Пол Кругман писал, что ChatGPT повлияет на спрос работников умственного труда[15]. Джеймс Винсент из The Verge расценил вирусный успех ChatGPT как свидетельство того, что искусственный интеллект стал мейнстримом[5]. В The Atlantic Стивен Марке отметил, что влияние на академические круги и особенно на прикладные эссе ещё предстоит понять[16]. Учитель средней школы Калифорнии и писатель Дэниел Герман написал, что ChatGPT ознаменует конец английского языка в средней школе[17].
Фактическая точность ChatGPT, помимо прочего, была поставлена под сомнение. Майк Перл из Mashable задал ChatGPT множество вопросов. В одном примере он попросил назвать самую большую после Мексики страну в Центральной Америке. ChatGPT ответил, что это Гватемала, хотя правильный ответ — Никарагуа[18]. В декабре 2022 года веб-сайт вопросов и ответов Stack Overflow запретил использование ChatGPT для генерации ответов на вопросы, сославшись на фактически неоднозначный характер ответов ChatGPT[19]. Экономист Тайлер Коуэн выразил обеспокоенность по поводу его влияния на демократию, сославшись на способность любого человека писать автоматические комментарии в попытке повлиять на процесс принятия новых нормативных актов[20]. Акс Шарма из Bleeping Computer отметил, что ChatGPT способен писать вредоносные программы и фишинговые электронные письма[21].
ChatGPT также ничего не знает о событиях, происходящих после 2021 года, потому что он не обучается на наборах данных, собранных после этой даты.[22]
Из-за опасений по поводу негативного воздействия на обучение, а также опасений по поводу безопасности и точности генерируемого системой контента, доступ к ChatGPT ограничен в сетях и на устройствах государственных школ Нью-Йорка[23]
ПримечанияПравить
- ↑ https://help.openai.com/en/articles/6825453-chatgpt-release-notes
- ↑ ChatGPT Set Record for fastest growing user base - analyst note
- ↑ Knox, W. Bradley; Stone, Peter. Augmenting Reinforcement Learning with Human Feedback (PDF). University of Texas at Austin. Дата обращения 5 December 2022.
- ↑ 1 2 3 4 OpenAI. ChatGPT: Optimizing Language Models for Dialogue (неопр.) (30 ноября 2022). Дата обращения: 5 декабря 2022.
- ↑ 1 2 Vincent, James ChatGPT proves AI is finally mainstream — and things are only going to get weirder (неопр.). The Verge (8 декабря 2022). Дата обращения: 8 декабря 2022.
- ↑ Schulman, John; Wolski, Filip; Dhariwal, Prafulla; Radford, Alec & Klimov, Oleg (2017), Proximal Policy Optimization Algorithms, arΧiv:1707.06347 [cs.LG].
- ↑ van Heeswijk, Wouter Proximal Policy Optimization (PPO) Explained (неопр.). Towards Data Science (29 ноября 2022). Дата обращения: 5 декабря 2022.
- ↑ Edwards, Benj No Linux? No problem. Just get AI to hallucinate it for you (неопр.). Ars Technica (5 декабря 2022). Дата обращения: 5 декабря 2022.
- ↑ 1 2 Roose, Kevin The Brilliance and Weirdness of ChatGPT (неопр.). The New York Times (5 декабря 2022). Дата обращения: 5 декабря 2022.
- ↑ Gao, Leo; Schulman & Hilton, Jacob (2022), Scaling Laws for Reward Model Overoptimization, arΧiv:2210.10760 [cs.LG].
- ↑ Murphy Kelly, Samantha This AI chatbot is dominating social media with its frighteningly good essays (неопр.). CNN (5 декабря 2022). Дата обращения: 5 декабря 2022.
- ↑ Lock, Samantha What is AI chatbot phenomenon ChatGPT and could it replace humans? (неопр.) The Guardian (5 декабря 2022). Дата обращения: 5 декабря 2022.
- ↑ Hern, Alex AI bot ChatGPT stuns academics with essay-writing skills and usability (неопр.). The Guardian (4 декабря 2022). Дата обращения: 5 декабря 2022.
- ↑ Kantrowitz, Alex Finally, an A.I. Chatbot That Reliably Passes "the Nazi Test" (неопр.). Slate (2 декабря 2022). Дата обращения: 5 декабря 2022.
- ↑ Krugman, Paul Does ChatGPT Mean Robots Are Coming For the Skilled Jobs? (неопр.) The New York Times (6 декабря 2022). Дата обращения: 6 декабря 2022.
- ↑ Marche, Stephen The College Essay Is Dead (неопр.). The Atlantic (6 декабря 2022). Дата обращения: 8 декабря 2022.
- ↑ The End of High-School English Daniel Herman, The Atlantic, DECEMBER 9, 2022
- ↑ Pearl, Mike The ChatGPT chatbot from OpenAI is amazing, creative, and totally wrong (неопр.). Mashable (3 декабря 2022). Дата обращения: 5 декабря 2022.
- ↑ Vincent, James AI-generated answers temporarily banned on coding Q&A site Stack Overflow (неопр.). The Verge (5 декабря 2022). Дата обращения: 5 декабря 2022.
- ↑ Cowen, Tyler ChatGPT Could Make Democracy Even More Messy (неопр.). Bloomberg News (6 декабря 2022). Дата обращения: 6 декабря 2022.
- ↑ Sharma, Ax OpenAI's new ChatGPT bot: 10 dangerous things it's capable of (неопр.). Bleeping Computer (6 декабря 2022). Дата обращения: 6 декабря 2022.
- ↑ scienceblog. Ядерный синтез в изложении искусственного интеллекта. (рус.). scienceblog (24 декабря 2022). Дата обращения: 22 января 2023.
- ↑ Образовательные учреждения блокируют доступ к нейросети ChatGPT. Что дальше? // РГ, 7.01.2023
СсылкиПравить
- Официальный сайт
- Dario Spilimbergo Interview mit dem Chatbot GPT (англ.) (Audiostream). sirup.fm - Studierendenradiosendung von der Universität Zürich und der ETH Zürich (23 декабря 2022). Дата обращения: 23 декабря 2022.