Как возникла компания OpenAI: история разработчика чат-бота ChatGPT

В этой статье расскажем об истории OpenAI – компании, занимающейся исследованиями и внедрением искусственного интеллекта, ее создателях, самых успешных разработках и планах на будущее.

История создания OpenAI

Компания OpenAI (Open Artificial Intelligence) появилась в калифорнийском Сан-Франциско в декабре 2015 года как некоммерческая организация. Целью ее создания был выпуск программ с открытым исходным кодом, чтобы в дальнейшем исследователи имели возможность разрабатывать системы искусственного интеллекта, а также продвижение и разработка дружественного ИИ в интересах всего человечества.

Описание компании на сайте OpenAI. Источник: openai.com

Сопредседателями OpenAI стали бывший президент бизнес-инкубатора в сфере ИТ – Y Combinator Сэм Альтман и бизнесмен Илон Маск. В число основателей также вошли ученые и инженеры, работающие в области искусственного интеллекта: Грэг Брокман, занявший должность технического директора, Илья Суцкевер, ставший главным научным сотрудником, Войцех Заремба, возглавивший отдел исследований и другие.

Организация получила венчурное финансирование от ряда крупных инвесторов – Y Combinator, Amazon Web Services, Infosys, Рида Хоффмана, Джессики Ливингстон и Питера Тиля. Стартовые инвестиции составили 1 миллиард долларов.

Илон Маск вышел из состава совета директоров через три года после основания компании, однако продолжил инвестировать в проект и консультировать команду. По его словам, он сделал это из-за «несогласия с кое-чем из того, что хотела сделать команда OpenAI».

На момент основания в выполняющей академические исследования небольшой лаборатории OpenAI было всего девять сотрудников, но в 2023 году команда насчитывала уже 773 сотрудника, работающих в 10 странах, таких как США, Великобритания, Германия, Франция, Индия и др.

Логотип OpenAI в 2015-2017 гг. Источник: en.wikipedia.org

По мере разработки успешных, становившихся популярными продуктов, о которых мы расскажем ниже, OpenAI требовалось больше денег, чем можно было получить через некоммерческую организацию, поэтому в 2019 году была зарегистрирована дочерняя структура OpenAI LP (Limited Partnership), которая имела право на коммерческую деятельность и получение прибыли. Такая компания была необходима для оформления инвестиций, которые OpenAI обязана возвращать из будущей прибыли. Эта организация занимается исключительно сбором денежных средств для основной НПО – OpenAI, которая занята непосредственно разработкой и исследованием искусственного интеллекта и определяет, каким образом распределяются эти финансы.

В 2019 году OpenAI получила крупное пожертвование от Microsoft в размере почти 1 миллиарда долларов. Корпорация оказывала финансовую поддержку OpenAI и в 2021 году, кроме того, в январе 2023 года OpenAI и Microsoft заключили уже многолетнюю сделку стоимостью около 10 млрд долларов. Такое сотрудничество позволяет компаниям работают в тандеме над созданием новых супервычислительных технологий, благодаря ему программисты Microsoft имеют доступ к разработкам OpenAI и получают возможность использовать их в работе над новыми ИИ-технологиями, также Microsoft Azure стал эксклюзивным поставщиком облачных услуг для OpenAI.

17 ноября 2023 года без предварительного уведомления Сэм Альтман был уволен с должности генерального директора и исключен из совета директоров OpenAI. Это решение совета директоров стало потрясением и для инвесторов, и для сотрудников. После этой новости о своем уходе из компании сообщили многие ключевые фигуры OpenAI, например, соучредитель Грег Брокман, исследователь Шимон Сидор и руководитель команды оценки потенциальных рисков Александр Мадри, а вслед за ними стали увольняться и рядовые сотрудники. Дело закончилось тем, что Альтман был восстановлен в должности, а в совете директоров произведены перестановки.

Продукты OpenAI

За первый год работы OpenAI представила два продукта:

• Платформу Gym, которая позволяла тренировать искусственный интеллект с помощью игр и алгоритмических задач. Суть заключалась в том, что машины принимали решения, за которые им полагалось наибольшее вознаграждение. OpenAI Gym предназначалась для разработки и сравнения алгоритмов обучения с подкреплением и предоставляла среду для исследователей, чтобы протестировать и улучшить свои алгоритмы в стандартизированных условиях.
• Набор инструментов Universe, предназначенный для обучения программ – интеллектуальных агентов, который позволяет ИИ использовать компьютер, подобно человеку: нейросеть проводит анализ информации на экране и работает с виртуальной мышью и клавиатурой. Продукт был создан для обучения ИИ выполнять такие же задачи, которые выполняет человек.

Описание исследовательской деятельности OpenAI на сайте компании. Источник: openai.com

Новый виток в развитии своих проектов лаборатория OpenAI получила в 2017 году, когда стала внедрять в продукты придуманную исследователями Google архитектуру «трансформер».

В 2018 году компания OpenAI представила алгоритм GPT (Generative Pre-trained Transformer). Задачей было создание модели алгоритма обработки естественного языка (NLP – Natural Language Processing) – технологии машинного обучения, которая дает компьютерам возможность интерпретировать, манипулировать и понимать человеческий язык. GPT использовал 5 Гб книжных текстов для генерации своих.

В 2019 году этот продукт был доработан, в него были добавлены параметры для построения более четких текстов. Версия GPT-2 представляла собой нейросеть, умеющую переводить публикации, понимать логику текста, заканчивать предложения и получившую возможность их обобщать. В базе данных содержалось уже 40 Гб текста – 7 тысяч книг и 8 миллионов сайтов. Алгоритм мог создавать фейковые новости по заголовкам, поэтому в компании решили не выпускать обученную модель, из-за опасений, что интернет могут заполнить фейки.

Релиз модели GPT-2 на сайте OpenAI. Источник: openai.com

В 2020 году OpenAI представила GPT-3. В третьей версии с 570 Гб текста в базе данных появилось еще больше возможностей, к примеру, алгоритм научился писать реальные статьи для СМИ. Увеличение модели до 175 миллиардов параметров привело к тому, что нейросеть GPT-3 научилась переводить тексты на 95 языков, причем во многих случаях делала это лучше некоторых специализированных переводчиков, могла резюмировать документы, решать задачи по арифметике (до пятизначных чисел), базовому программированию, а также умела подражать стилям известных авторов и т.д.

В марте 2022 года была выпущена GPT-3,5 (InstructGPT). Она представляла собой дообученную на обратной связи с человеком-оператором GPT-3. В ней разработчики постарались исправить ошибки предыдущей версии, которая могла генерировать тексты, содержащие различный негатив, например, неэтичные высказывания и гуляющую в интернете дезинформацию.

30 ноября 2022 года OpenAI выпустила знаменитый ChatGPT, основанный на языковой модели GPT-3,5 – модель глубокого обучения, которая вступает в диалог с пользователем и создает тексты, имитирующие человеческую речь. Продукт привлек внимание аудитории своими широкими возможностями, такими как написание кода и создание текстов, также возможностями перевода и получения достаточно точных ответов, использования контекста диалога для генерации ответов.

Источник: Unsplash

За первые два месяца аудитория активных пользователей ChatGPT достигла 100 миллионов человек, тем самым установив исторический рекорд по росту посетителей. Сервис ChatGPT был официально ограничен базой данных по сентябрь 2021 года включительно.

14 марта 2023 года вышла самая мощная на данный момент версия большой языковой модели семейства GPT – GPT-4.

По неофициальной информации (официальных данных OpenAI не предоставляет), GPT-4 имеет датасет 45 терабайт текста и размер 250-300 млрд параметров. В новую версию GPT-4 разработчики добавили возможность доступа в интернет, мультимодальность, включили поддержку аддонов, дополнений и плагинов. Новая модель стала умнее, креативнее, деликатнее и стала значительно реже ошибаться.

Читайте также

В GPT-4 добавлены анализ изображений, быстрые ответы и более умный ИИ

25 сентября 2023 года в ChatGPT были введены функции распознавания и генерации голоса и возможность распознавать изображения. Кроме этого, сервис научился искать информацию в интернете с прямыми ссылками на источники и перестал ограничиваться данными до сентября 2021 года.

Летом 2023 года OpenAI подала заявку на регистрацию товарного знака GPT-5. Однако из-за роста беспокойства общественности по поводу стремительного развития технологий искусственного интеллекта, обучение новой модели нейросети GPT-5 сейчас приостановлено.

Среди других известных продуктов и технологий в области искусственного интеллекта, разработанных компанией OpenAI, можно назвать:

• DALL-E – нейросетевая модель на основе GPT-3, которая способна генерировать изображения и иллюстрации из текстовых описаний. Название продукта – отсылка к художнику Сальвадору Дали и роботу WALL-E из одноименного мультфильма. DALL-E умеет создавать уникальные, часто креативные визуальные изображения, основываясь на разных текстовых подсказках. По текстовому запросу DALL-E может сгенерировать изображение в высоком разрешении или отредактировать предложенную пользователем картинку.
• Codex – представляет собой систему, способную понимать и генерировать программный код. Эта система лежит в основе инструмента GitHub Copilot, который помогает разработчикам писать код быстрее и с меньшими усилиями, предлагая целые функции или строки кода на основе анализа контекста уже написанного кода.
• OpenAI Five – представляет собой систему искусственного интеллекта, обученную играть в компьютерную игру Dota 2 на высоком уровне. Этот продукт демонстрирует способность искусственного интеллекта к обучению в сложных, многопараметрических средах.
• Whisper – система распознавания речи от OpenAI и последующего перевода ее в текст. Платформа может распознавать речь на 99 языках и умеет работать с файлами практически любого формата. Нейросеть может не только транскрибировать аудио с разных языков, но и при необходимости переводить получившийся текст на английский.

Читайте также

Codex от OpenAI заменит языки программирования на английский язык

Заключение

На сегодняшний день OpenAI – это один из самых дорогих стартапов в США, стоимость компании оценивается в 29 млрд долларов. На начало 2023 года в компании трудились 375 человек.

За 8 лет своего существования OpenAI выпустила более 800 общедоступных исследовательских работ и более 200 проектов с открытым исходным кодом, а ее исследования цитировались более 17 тысяч раз в различных научных статьях. Среди достижений OpenAI можно упомянуть множество завоеванных наград, например, премию Тьюринга и премию AAAI Classic Paper Award. По статистике 2023 года веб-сайт OpenAI ежемесячно посещали более 300 миллионов раз.

Компания OpenAI постоянно совершенствует свои продукты и добавляет им новые возможности. К примеру, каждая следующая версия GPT имеет более высокую производительность, от версии к версии улучшается контекстное понимание и качество ответов. На данный момент ChatGPT является наиболее универсальным и способным ИИ для обработки естественного языка среди себе подобных.

По мнению экспертов, проект ChatGPT может изменить многие сферы. Например, уже известен случай, когда студент московского Российского государственного гуманитарного университета смог защитить диплом, написанный этой нейросетью, а после – нашел себе будущую жену при помощи ее же. Уже сегодня некоторые авторы задействуют бота для сбора фактуры для написания материалов, а программисты пробуют генерировать код. Бармену нейросеть способна подсказать рецепты новых коктейлей, любителям спорта предложить программу тренировок, а преподавателю помочь составить планы уроков.

OpenAI продолжает исследовать новые возможности нейросетей, к примеру, один из проектов компании, находящихся в разработке, связан с генерацией видеоконтента. Также компания ведет исследования в области робототехники: разработанные OpenAI алгоритмы позволяют роботам обучаться и принимать решения на основе своего окружения.