Сбер выпустил семейство генеративных моделей Kandinsky WM 1.0. Они обучены генерировать видео, более точно соответствующие законам физики и пригодные для обучения систем физического ИИ. В основе моделей — нейросеть Kandinsky 5.0 Video Lite, дополнительно обученная на видео с камер роботов, беспилотных автомобилей и записях промышленных процессов.
Модели будут особенно полезны там, где реальные съёмки невозможны или сильно затруднены: они могут генерировать видео редких, сложных или опасных сценариев для тренировки роботов и беспилотного транспорта. Код и веса нейросетей опубликованы под лицензией MIT и доступны всем разработчикам мира бесплатно.
Физический ИИ — это класс систем, которые способны воспринимать физический мир, понимать его динамику и управлять реальными устройствами. В отличие от языковых моделей, для физического ИИ почти нет открытых обучающих данных в достаточном масштабе. Собирать такие данные сложно и дорого: автомобиль с камерами и датчиками накапливает порядка 5 тысяч часов записей в год, тогда как современным моделям нужны миллионы часов. Многие редкие и сложные сценарии — ДТП, экстремальную погоду, отказы оборудования — вообще нельзя воспроизвести вживую.
Создаваемые моделями Kandinsky WM видео длятся около пяти секунд и отражают отдельные действия: манипуляции с предметами, дорожные ситуации, этапы производственных процессов — базовые «кирпичики», из которых складывается обучение автономных систем. Это первое поколение нейросетей на пути к полноценным моделям мира — системам, способным моделировать развитие сцены во времени.
Модели пригодятся разработчикам беспилотного транспорта, компаниям в сфере промышленной автоматизации — производителям манипуляторов, промышленных, сервисных и антропоморфных роботов, командам, внедряющим компьютерное зрение на производствах и складах. Они также полезны исследователям, университетам и стартапам, которым важно экономить ресурсы при сборе обучающих данных. Модели уже применяет Центр робототехники Сбера для обучения собственных роботов, а также институт AIRI в своём дорожном симуляторе.
