Умная камера Яндекса научилась делать комплименты

Нейросети в Умной камере научились делать комплименты. Благодаря тому, что технологии компьютерного зрения могут распознавать даже мелкие детали на изображениях, Умная камера в приложении «Яндекс» напишет приятные слова персонально для каждого пользователя. Например, про его цвет глаз, улыбку, образ или причёску. Комплиментами можно делиться, чтобы поднять близким настроение, или использовать их как текст для открытки, например, валентинки. Для этого нужно сделать селфи, фотографию или загрузить уже готовый снимок и написать в строку запроса «сделай комплимент». 

Для того чтобы распознавать детали на картинках и видеть между ними взаимосвязь, в Умной камере и Поиске с Нейро встроена VLM-нейросеть, разработанная Яндексом (от англ. Visual Language Model — визуально-языковая модель). Она открывает пользователям широкие возможности для работы с изображениями. Эта нейросеть уже улучшила качество визуального поиска по картинкам в интернете, а теперь применяется и для создания комплиментов пользователям. Чтобы Умная камера научилась использовать небанальные и поэтичные эпитеты и сравнения, нейросети показали более чем 14 тысяч пар картинок и текстов с приятными словами. 

Так как VLM-нейросеть распознаёт детали, например: выражение лица, украшения, цвет глаз и отдельные элементы интерьера, комплимент всегда получается личным. Например, Умная камера может сказать, что взгляд коллеги, направленный в экран ноутбука, напоминает взгляд мудрого философа, а волосы подруги гладкие, как шёлк.

Скоро возможность получить комплимент от Умной камеры появится также в мобильном приложении «Яндекс Браузер» для iOS и Android.

Иллюстрации к новости доступны по ссылке.

О приложении Яндекс с Алисой

Яндекс с Алисой — это бесплатное приложение для Android и iOS c быстрым доступом к Поиску с Нейро и другим сервисам компании. В нём можно взаимодействовать с виртуальным ассистентом Алисой, управлять устройствами умного дома и использовать умную камеру для распознавания объектов, товаров и решения математических задач. Также приложение открывает доступ к переводчику с поддержкой более чем 100 языков и бесплатному определителю номера — он предупреждает пользователей о нежелательных звонках по телефону и в мессенджерах.