Нейросеть GigaChat обучили распознавать запросы пользователей по изображениям

Модель научилась распознавать печатный и рукописный текст, формулы, графики, таблицы и анализировать данные, которые в них содержатся.

Сбер расширил возможности своей нейросетевой модели GigaChat Pro научилась распознавать запросы пользователей по изображениям. Об этом сообщает пресс-служба банка.

Как рассказал старший вице-президент, руководитель блока «Технологическое развитие» Сбера Андрей Белевцев, нейросеть обрела новую модальность, которая расширила способы и сферы применения больших языковых моделей. По его словам, мультимодальность стала ключевым направлением развития генеративного искусственного интеллекта.

Нейросеть получила возможность распознавать иллюстрации, печатный и рукописный текст, формулы, графики и таблицы. Отмечается, что сервис использует их как дополнительный контекст, а также анализирует данные, которые в них содержатся.

Теперь в качестве запроса пользователь может отправить иллюстрацию, чтобы сервис использовал её как дополнительный контекст. Модель определит, сколько людей на фото, во что они одеты, даст совет по стилю одежды и многое другое. Или, например, студенты могут сфотографировать часть учебного материала или конспекта, загрузить изображение и в несколько кликов получить короткое содержание текста, его ключевую тему и сформировать план дальнейшей работы с ним.

— Это не просто ещё один важный шаг в развитии нашего сервиса, он открывает широкий спектр новых возможностей для наших пользователей. В том числе появляется много сценариев использования GigaChat API для бизнеса, — сказал Белевцев.

Кроме того, программный интерфейс (API) позволяет использовать функционал сервиса бизнес-клиентам. Компании могут использовать искусственный интеллект в ещё большем числе сценариев: модерировать и классифицировать отзывы, систематизировать медиаконтент, автоматизировать линию поддержки (когда клиент прикладывает к обращению скрин или фото). Ретейлеры могут загружать изображение товара и просить сервис придумать к нему продающее описание.

Увеличение размера контекста системы в четыре раза позволит поддерживать более длинные диалоги с пользователями и проще реализовывать кейсы с механикой RAG, подчеркнул руководитель блока «Технологическое развитие» Сбера.

Игорь Резанов

Читайте также

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter.

Похожие новости

Клиенты Сбера смогут платить «улыбкой» с карты любого банка

Клиенты Сбера смогут платить «улыбкой» с карты любого банка

В Белгородской области появились три офиса Сбера нового формата

В Белгородской области появились три офиса Сбера нового формата

В Черноземье для журналистов и блогеров запустили проект «Бизнес-inside»

В Черноземье для журналистов и блогеров запустили проект «Бизнес-inside»

В мае эксперты зафиксировали рекордный спрос на ипотеку с начала года

В мае эксперты зафиксировали рекордный спрос на ипотеку с начала года

Участвующие в проекте «Путешествуй по России» журналисты и блогеры добрались до Крыма

Участвующие в проекте «Путешествуй по России» журналисты и блогеры добрались до Крыма

Сбер повышает ставки по депозитам и ипотеке

Сбер повышает ставки по депозитам и ипотеке

В Воронежской области провели саммит по устойчивому развитию территорий

В Воронежской области провели саммит по устойчивому развитию территорий

Белгородец потратил более 300 тысяч бонусов СберСпасибо на оплату путешествия

Белгородец потратил более 300 тысяч бонусов СберСпасибо на оплату путешествия

Жители Черноземья получили страховые выплаты на 1,2 миллиарда рублей

Жители Черноземья получили страховые выплаты на 1,2 миллиарда рублей

В ДНР и ЛНР к июлю появятся 50 банкоматов Сбера

В ДНР и ЛНР к июлю появятся 50 банкоматов Сбера

Сбер рассказал, сколько образовательных кредитов с господдержкой взяли белгородцы

Сбер рассказал, сколько образовательных кредитов с господдержкой взяли белгородцы

Белгородцев ждут на ИТ-форуме «Цифроземье-2024» в Воронеже

Белгородцев ждут на ИТ-форуме «Цифроземье-2024» в Воронеже

Сбер поделился знаниями о генеративных нейросетях с белгородскими студентами

Сбер поделился знаниями о генеративных нейросетях с белгородскими студентами