Реклама АО ТаймВэб
...
Реклама АО ТаймВэб
...
Реклама АО ТаймВэб
...
Реклама АО ТаймВэб
...
Реклама АО ТаймВэб
...
Реклама АО ТаймВэб
...

Microsoft и NVIDIA создали крупнейшую генеративную языковую ИИ-модель

Обсудить
В закладки
Microsoft и NVIDIA создали крупнейшую генеративную ИИ-модель с 530 млрд параметров

Две компании объединили свои усилия и представили модель генерации естественного языка Megatron-Turing Natural Language Generation (MT-NLG), которая содержит 530 миллиардов параметров. На сегодня это самая большая и самая мощная в мире монолитная трансформаторная языковая модель. 

MT-NLG имеет в три раза больше параметров по сравнению с существующей крупнейшей моделью такого типа. В число возможностей новой системы входят: 

  • Предсказание текста по смыслу.
  • Понимание прочитанного.
  • Генерация логических выводов.
  • Создание заключений на естественном языке.
  • Различение смысла слов с несколькими значениями.

Для обучения этой модели были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также использованы мощности суперкомпьютера NVIDIA Selene и библиотеки DeepSpeed

При этом разработчики уточняют, что языковая модель хорошо справляется с возложенными на нее задачами, однако может использовать стереотипы и предубеждения, которые содержатся в загруженных данных. Другими словами, подобные системы иногда бывают токсичными и агрессивными, поскольку вбирают в себя всю лексику, на которой они обучаются. 

Если человек настраивает сервер, это не новость; новость – если сервер настраивает человека.
Новый подкаст от Timeweb

Комментарии

Вход
С помощью соцсетей
У меня нет аккаунта Зарегистрироваться
Регистрация
С помощью соцсетей
У меня уже есть аккаунт Войти
Восстановление пароля
Пожалуйста, укажите email вашего аккаунта
Таймкарма
Ваш баланс 10 ТК
1 ТК = 1 ₽
О том, как заработать и потратить Таймкарму, читайте в этой статье
Чтобы потратить Таймкарму, зарегистрируйтесь на нашем сайте