С помощью новых нейросетей белгородцы смогут генерировать тексты на русском и ещё 60 языках

Каждая модель содержит 13 миллиардов параметров и способна создавать тексты на русском или других языках.

Для пользователей стали доступны новые нейросети по генерации текста для русского и ещё 60 языков. Их открыла команда Сбера. Нейросетевая модель генерации текста для русского языка ruGPT-3.5 13B — её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B — самую большую из семейства многоязычных моделей компании, способную генерировать тексты на 61 языке. Обе модели доступны на платформе HuggingFace, и их могут использовать все разработчики, модели опубликованы под открытой лицензией MIT.

Russian Generative Pretrained Transformer версии 3.5 (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B. Это современная модель генерации текста для русского языка на основе доработанной исследователями банка архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2 048 токенов. Она обучена на текстовом корпусе размером около 1 терабайта, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов.

Также в открытом доступе опубликована многоязычная модель mGPT 13B. Версия mGPT 13B содержит 13 миллиардов параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 гигабайтах текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

Игорь Резанов

Читайте также

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter.

Похожие новости

Всероссийская Сбербанкиада в Казани соберёт около 2,5 тысячи человек

Всероссийская Сбербанкиада в Казани соберёт около 2,5 тысячи человек

Сотрудники Центрально-Чернозёмного банка Сбера спасли от мошенников почти 13 миллионов рублей своих клиентов

Сотрудники Центрально-Чернозёмного банка Сбера спасли от мошенников почти 13 миллионов рублей своих клиентов

Сбер почти на четверть увеличил кредитный портфель малого бизнеса в Белгородской области

Сбер почти на четверть увеличил кредитный портфель малого бизнеса в Белгородской области

В Сбере выяснили, какие подарки белгородцы планируют дарить на 8 Марта

В Сбере выяснили, какие подарки белгородцы планируют дарить на 8 Марта

В России выросло число электронных заявок и сделок с недвижимостью

В России выросло число электронных заявок и сделок с недвижимостью

Исследование: 36 процентов ипотек Сбера выдаётся по льготным программам

Исследование: 36 процентов ипотек Сбера выдаётся по льготным программам

Белгородские банки смогут взять в аренду банкоматы

Белгородские банки смогут взять в аренду банкоматы

РИА Новости: данные почти 80 миллионов россиян попали в базы мошенников

РИА Новости: данные почти 80 миллионов россиян попали в базы мошенников

В Сбере отреагировали на просьбу отменить комиссию при переводах в другие банки

В Сбере отреагировали на просьбу отменить комиссию при переводах в другие банки

Сбер: самозанятые чаще всего занимаются строительством и ремонтом

Сбер: самозанятые чаще всего занимаются строительством и ремонтом

Белгородцы чаще других россиян пользуются бесконтактной оплатой от Сбера

Белгородцы чаще других россиян пользуются бесконтактной оплатой от Сбера

Сбер открыл публичный доступ к нейросети, работающей с текстом и изображениями

Сбер открыл публичный доступ к нейросети, работающей с текстом и изображениями

Российские банки попали в рейтинг Brand Finance Europe

Российские банки попали в рейтинг Brand Finance Europe

Сбер открыл свой павильон на выставке «Россия» на ВДНХ

Сбер открыл свой павильон на выставке «Россия» на ВДНХ