Craftum — конструктор сайтов
Создайте сайт с помощью профессиональных шаблонов или придумайте дизайн с нуля

Microsoft и NVIDIA создали крупнейшую генеративную языковую ИИ-модель

Обсудить
Microsoft и NVIDIA создали крупнейшую генеративную ИИ-модель с 530 млрд параметров

Две компании объединили свои усилия и представили модель генерации естественного языка Megatron-Turing Natural Language Generation (MT-NLG), которая содержит 530 миллиардов параметров. На сегодня это самая большая и самая мощная в мире монолитная трансформаторная языковая модель. 

MT-NLG имеет в три раза больше параметров по сравнению с существующей крупнейшей моделью такого типа. В число возможностей новой системы входят: 

  • Предсказание текста по смыслу.
  • Понимание прочитанного.
  • Генерация логических выводов.
  • Создание заключений на естественном языке.
  • Различение смысла слов с несколькими значениями.

Для обучения этой модели были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также использованы мощности суперкомпьютера NVIDIA Selene и библиотеки DeepSpeed

При этом разработчики уточняют, что языковая модель хорошо справляется с возложенными на нее задачами, однако может использовать стереотипы и предубеждения, которые содержатся в загруженных данных. Другими словами, подобные системы иногда бывают токсичными и агрессивными, поскольку вбирают в себя всю лексику, на которой они обучаются. 

Новый подкаст от Timeweb

Комментарии

С помощью соцсетей
У меня нет аккаунта Зарегистрироваться
Нажимая кнопку «Зарегистрироваться», я даю согласие на обработку своих персональных данных, указанных в форме регистрации.
С помощью соцсетей
У меня уже есть аккаунт Войти
Нажимая кнопку «Зарегистрироваться», я даю согласие на обработку своих персональных данных, указанных в форме регистрации.
Инструкции по восстановлению пароля высланы на Ваш адрес электронной почты.
Пожалуйста, укажите email вашего аккаунта
Ваш баланс 10 ТК
1 ТК = 1 ₽
О том, как заработать и потратить Таймкарму, читайте в этой статье
Чтобы потратить Таймкарму, зарегистрируйтесь на нашем сайте