SberDevices выпустил новую версию нейросети GPT-3: модель под названием mGPT. Она способна создавать тексты на 61 языке мира, включая языки народов России и стран СНГ.
Как сообщается в пресс-службе Сбера, это первая в мире генеративная сеть, поддерживающая подобное количество языков. На данный момент она доступна в двух версиях: базовой на 1,3 миллиарда параметров, которая представлена в открытом доступе в облачном хранилище СберДиск; также расширенной на 13 миллиардов параметров, которую скоро разместят на платформе машинного обучения ML Space от SberCloud.
Модель mGPT можно применять для создания текстов, а также решения задач в области обработки естественного языка на одном из поддерживаемых языков. Еще есть возможность использования нейросети в качестве компонента для различных речевых технологий, включая улучшение качества распознавания речи, создание сценариев диалоговых систем и многое другое.
На данный момент mGPT показывает отличные результаты на задачах типа few-shot и zero-shot learning. Так, в указанных областях не нужно отдельно доучивать модель, достаточно лишь сформулировать задачу в текстовом формате и привести несколько примеров, после чего модель научится выполнять новую задачу. За счет этого можно обучить систему отвечать на вопросы, определять эмоциональную окраску текста, извлекать из него имена, фамилии, названия компаний и так далее.
Комментарии