Две компании объединили свои усилия и представили модель генерации естественного языка Megatron-Turing Natural Language Generation (MT-NLG), которая содержит 530 миллиардов параметров. На сегодня это самая большая и самая мощная в мире монолитная трансформаторная языковая модель.
MT-NLG имеет в три раза больше параметров по сравнению с существующей крупнейшей моделью такого типа. В число возможностей новой системы входят:
- Предсказание текста по смыслу.
- Понимание прочитанного.
- Генерация логических выводов.
- Создание заключений на естественном языке.
- Различение смысла слов с несколькими значениями.
Для обучения этой модели были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также использованы мощности суперкомпьютера NVIDIA Selene и библиотеки DeepSpeed.
При этом разработчики уточняют, что языковая модель хорошо справляется с возложенными на нее задачами, однако может использовать стереотипы и предубеждения, которые содержатся в загруженных данных. Другими словами, подобные системы иногда бывают токсичными и агрессивными, поскольку вбирают в себя всю лексику, на которой они обучаются.
Комментарии