С помощью новых нейросетей белгородцы смогут генерировать тексты на русском и ещё 60 языках

Для пользователей стали доступны новые нейросети по генерации текста для русского и ещё 60 языков. Их открыла команда Сбера. Нейросетевая модель генерации текста для русского языка ruGPT-3.5 13B — её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B — самую большую из семейства многоязычных моделей компании, способную генерировать тексты на 61 языке. Обе модели доступны на платформе HuggingFace, и их могут использовать все разработчики, модели опубликованы под открытой лицензией MIT.

Russian Generative Pretrained Transformer версии 3.5 (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B. Это современная модель генерации текста для русского языка на основе доработанной исследователями банка архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2 048 токенов. Она обучена на текстовом корпусе размером около 1 терабайта, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов.

Также в открытом доступе опубликована многоязычная модель mGPT 13B. Версия mGPT 13B содержит 13 миллиардов параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 гигабайтах текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.