Учёные презентовали модели искусственного интеллекта, которые распознают русский язык жестов

В 2024 году программисты намерены протестировать и внедрить распознавание русского жестового языка в нескольких российских регионах.

Сбер представил нейросетевые модели, позволяющие распознавать русский жестовый язык. Новинкой на конференции AI Journey поделился старший вице-президент, СTO, руководитель блока «Технологи» Сбербанка Андрей Белевцев.

Команда Vision RnD в SberDevices первой в мире представила прототип общения с генеративной языковой моделью при помощи жестового языка в открытом доступе. Для этого понадобился GigaChat API и программный интерфейс доступа к сервису GigaChat. GigaChat самостоятельно понимает контекст распознанных жестов и распознанные отдельные слова (например, «Я Идти Улица Гулять») преобразовывает в корректную фразу («Я пошёл гулять на улицу» — прим. Ф.), сохраняя контекст.

Текущая версия модели распознаёт более 2,5 тысячи жестов, включая понимание дактиля (произношение слов по буквам — прим. Ф.) и составные жесты. Кроме того, модель понимает терминологию, связанную с банковским делом, транспортом, животными и немного даже терминов из сферы медицины и образования. Этот объём составляет существенную часть словаря русского жестового языка, позволяя создавать сервисы с нужным прикладным применением.

На базе этой модели обучили нейросети, чтобы можно было распознавать американский язык жестов, и они оказались в лидерах рейтинга WLASL-2000. Другая команда исследователей из подразделения Sber AI разработала и опубликовала в открытом доступе лёгкую модель распознавания жестового языка, не требовательную к вычислительным ресурсам. Модель работает на CPU, что позволяет экономить на решениях, создаваемых на её основе. Это даёт возможность широкому кругу разработчиков проектировать инклюзивное программное обеспечение, например, продукты и сервисы для коммуникации или инструменты для изучения жестового языка.

Сейчас алгоритм распознаёт 1,6 тысячи жестов и преобразовывает в слова до трёх жестов в секунду на стандартных персональных компьютерах. В 2024 году учёные намерены протестировать и внедрить распознавание русского жестового языка в нескольких российских регионах.

— Сервисы для распознавания русского жестового языка и созданная Сбером система искусственного интеллекта GigaChat позволят преодолеть коммуникационный разрыв и сделают мир доступнее для людей с нарушением слуха. Модели могут использоваться в рамках исследований, позволяющих развивать сервисы для пользователей с инвалидностью. Например, для создания доступной среды в многофункциональных центрах, в транспортной отрасли (аэропорты, вокзалы, метро), в больницах для общения пациента и врача, в банковских сервисах и адаптации онлайн и оффлайн-образования, — рассказал Андрей Белевцев.
Игорь Резанов

Читайте также

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter.

Похожие новости

В России началась международная конференция Сбера AI Journey

В России началась международная конференция Сбера AI Journey

Ученые Сбера создали систему моделирования и прогнозирования диагнозов

Ученые Сбера создали систему моделирования и прогнозирования диагнозов

В Сбере рассказали, что над сценарием фильма «Чебурашка» работали 1,5 года

В Сбере рассказали, что над сценарием фильма «Чебурашка» работали 1,5 года

С начала года белгородцы совершили более 75 тысяч транзакций по сервисам SberPay

С начала года белгородцы совершили более 75 тысяч транзакций по сервисам SberPay

Сбер выдал первую в Белгородской области ипотеку для IT-специалистов

Сбер выдал первую в Белгородской области ипотеку для IT-специалистов

В юбилейном «Зелёном марафоне» поучаствовали более 7,5 тысячи жителей Черноземья

В юбилейном «Зелёном марафоне» поучаствовали более 7,5 тысячи жителей Черноземья

Сбер начал выдавать ипотеку на строительство дома под залог земли

Сбер начал выдавать ипотеку на строительство дома под залог земли

Сбер: самозанятые чаще всего занимаются строительством и ремонтом

Сбер: самозанятые чаще всего занимаются строительством и ремонтом

20 федеральных журналистов и тревел-блогеров стали участниками проекта «Путешествуй по России»

20 федеральных журналистов и тревел-блогеров стали участниками проекта «Путешествуй по России»

Сбер открыл публичный доступ к нейросети, работающей с текстом и изображениями

Сбер открыл публичный доступ к нейросети, работающей с текстом и изображениями

Более 130 тысяч белгородских школьников прошли курс по использованию искусственного интеллекта

Более 130 тысяч белгородских школьников прошли курс по использованию искусственного интеллекта

Сотрудники банка остановили белгородку от перевода мошенникам 3,7 миллиона рублей

Сотрудники банка остановили белгородку от перевода мошенникам 3,7 миллиона рублей

В 2023 году Сбер открыл более 20 офисов нового формата в Черноземье

В 2023 году Сбер открыл более 20 офисов нового формата в Черноземье

Нейросеть Сбера GigaChat сдала экзамен на врача

Нейросеть Сбера GigaChat сдала экзамен на врача