Компания Яндекс сообщила о том, что теперь их самая крупная нейросеть для генерации и обработки текстов на русском языке доступна для всех пользователей интернета.
У разработчиков и инженеров со всей планеты появился доступ к библиотеке YaLM 100B. Это мощнейший инструмент с сотней миллиардов параметров, позволяющий обрабатывать естественные языки (в частности, русский). Система может генерировать новые тексты, основываясь на уже существующих, выбирать различные жанры и поджанры текстов, классифицировать их и т.п.
Яндекс использует эту же нейросеть как в поисковике, так и в других проектах, включая цифровую помощницу Алису.
В Яндексе так же отметили, что хотят обеспечить доступом к столь мощным технологиям всех разработчиков, а не только крупные IT-корпорации. Ведь для создания подобной модели требуется длительное обучение нейросетей с использованием суперкомпьютеров. YaLM «съел» более 2 Тбайт текстов перед тем, как стать столь эффективным инструментом по обработке языков.
Пример работы нейросети Яндекса. Изображение: habr.com
Модель доступна в GitHub и распространяется по открытой лицензии Apache 2.0. Подробнее о работе YaLM 100B можно прочитать на Хабре.
Комментарии