Нейросеть GigaChat обучили распознавать запросы пользователей по изображениям

Модель научилась распознавать печатный и рукописный текст, формулы, графики, таблицы и анализировать данные, которые в них содержатся.

Сбер расширил возможности своей нейросетевой модели GigaChat Pro научилась распознавать запросы пользователей по изображениям. Об этом сообщает пресс-служба банка.

Как рассказал старший вице-президент, руководитель блока «Технологическое развитие» Сбера Андрей Белевцев, нейросеть обрела новую модальность, которая расширила способы и сферы применения больших языковых моделей. По его словам, мультимодальность стала ключевым направлением развития генеративного искусственного интеллекта.

Нейросеть получила возможность распознавать иллюстрации, печатный и рукописный текст, формулы, графики и таблицы. Отмечается, что сервис использует их как дополнительный контекст, а также анализирует данные, которые в них содержатся.

Теперь в качестве запроса пользователь может отправить иллюстрацию, чтобы сервис использовал её как дополнительный контекст. Модель определит, сколько людей на фото, во что они одеты, даст совет по стилю одежды и многое другое. Или, например, студенты могут сфотографировать часть учебного материала или конспекта, загрузить изображение и в несколько кликов получить короткое содержание текста, его ключевую тему и сформировать план дальнейшей работы с ним.

— Это не просто ещё один важный шаг в развитии нашего сервиса, он открывает широкий спектр новых возможностей для наших пользователей. В том числе появляется много сценариев использования GigaChat API для бизнеса, — сказал Белевцев.

Кроме того, программный интерфейс (API) позволяет использовать функционал сервиса бизнес-клиентам. Компании могут использовать искусственный интеллект в ещё большем числе сценариев: модерировать и классифицировать отзывы, систематизировать медиаконтент, автоматизировать линию поддержки (когда клиент прикладывает к обращению скрин или фото). Ретейлеры могут загружать изображение товара и просить сервис придумать к нему продающее описание.

Увеличение размера контекста системы в четыре раза позволит поддерживать более длинные диалоги с пользователями и проще реализовывать кейсы с механикой RAG, подчеркнул руководитель блока «Технологическое развитие» Сбера.

Игорь Резанов

Читайте также

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter.

Похожие новости

Клиенты Сбера смогут платить «улыбкой» с карты любого банка

Клиенты Сбера смогут платить «улыбкой» с карты любого банка

В Белгородской области появились три офиса Сбера нового формата

В Белгородской области появились три офиса Сбера нового формата

Выставку картин «Дети солнца» можно будет увидеть в Белгороде до конца июня

Выставку картин «Дети солнца» можно будет увидеть в Белгороде до конца июня

Белгородская выставка благотворительного арт-проекта «Дети солнца» открылась в Москве

Белгородская выставка благотворительного арт-проекта «Дети солнца» открылась в Москве

Белгородцы чаще других жителей Черноземья берут ипотеку по госпрограммам

Белгородцы чаще других жителей Черноземья берут ипотеку по госпрограммам

Сбер снизил ставки по ипотеке от застройщиков

Сбер снизил ставки по ипотеке от застройщиков

В России началась международная конференция Сбера AI Journey

В России началась международная конференция Сбера AI Journey

В Сбере рассказали о рекордном предотвращении случаев мошенничества

В Сбере рассказали о рекордном предотвращении случаев мошенничества

В Сбере обозначили три новых риска в сфере телефонного мошенничества

В Сбере обозначили три новых риска в сфере телефонного мошенничества

Аудитория GigaChat и Kandinsky достигла 18 миллионов пользователей

Аудитория GigaChat и Kandinsky достигла 18 миллионов пользователей

Сбер провёл дизайн-сессию по цифровой трансформации Белгородской области

Сбер провёл дизайн-сессию по цифровой трансформации Белгородской области

В Сбере назвали самые популярные и опасные схемы мошенничества

В Сбере назвали самые популярные и опасные схемы мошенничества

​Сбер и Росзаповедцентр вместе займутся сохранением природного капитала

​Сбер и Росзаповедцентр вместе займутся сохранением природного капитала