Что умеют «Яндекс.Картинки»: десять функций, которые стали возможны благодаря машинному обучению

Найти в продаже предметы интерьера или одежду, проверить фото нового знакомого из интернета и узнать больше о привычных вещах.

В 2013 году поиск «Яндекса» научился работать не только с текстом, но и с картинками. Перейдя во вкладку «Картинки» рядом с поисковой строкой, пользователь теперь мог загрузить изображение и найти в интернете похожие изображения с тем же самым или схожим объектом. За семь лет благодаря компьютерному зрению и машинному обучению качество поиска по изображению сильно улучшилось, «Картинки» стали «умнее» и научились решать новые задачи.

Вот, что они умеют.

Когда мы смотрим, например, на фотографию комнаты, мы можем распознать на ней белые обои, черную посуду, два красных стула или три золотых подсвечника. Благодаря компьютерному зрению этому научились и «Яндекс.Картинки». Но делают они это быстрее (примерно за 450 миллисекунд) и параллельно находят другие изображения или страницы в интернете с такими же предметами.

Поиск автоматически распознаёт предметы на иллюстрации и предлагает купить похожие на «Яндекс.Маркете» и в других интернет-магазинах, среди которых — Ozon, Lamoda, Wildberries, Aliexpress, IKEA. Приоритет отдается максимально похожим товарам, которые есть в наличии. Чтобы найти нужные объекты, достаточно загрузить фото в «Яндекс.Картинки» или выбрать подходящие товары из запроса.

Так, если вы планируете сделать ремонт или обновить интерьер, вам достаточно найти понравившиеся фото, загрузить их в поиск и найти подходящие по цене варианты. А если это массовый товар, то высока вероятность найти именно его, а не что-то похожее.

Чтобы поиск работал хорошо, объект должен занимать больше 10% от всей площади и быть размером минимум 50х50 пикселей. Текущий алгоритм для подбора похожих визуально товаров обучался так, чтобы минимизировать влияние фона картинки, но он всё равно учитывается. Если будет два похожих товара, но фон найденной картинки будет совпадать только с одним из них — она будет ранжироваться выше.

Кроме того, выборку для обучения собирали так, чтобы максимально приближать друг к другу фото одного товара в магазинах на белом фоне и фото, сделанные на обычный мобильный телефон.

Есть много каналов, пабликов и сайтов, которые делают подборки модных образов. Это удобно, но без ссылок на товары смотреть их не так интересно. Ведь чтобы составить похожий образ, нужно ещё вручную найти каждый товар. И не всегда получается описать так, как нужно. Даже у белой блузки может быть десяток фасонов. Поэтому мы создали поиск одежды по фотографии.

Представим ситуацию: вы увидели в магазине дизайнерскую вещь. Но ценник кажется вам завышенным. Чтобы найти похожее, можно поискать в других магазинах. Ведь многие масс-маркет бренды шьют одежду, похожую на дизайнерские, а цена при этом намного ниже. Сфотографируйте эту вещь и поищите её в «Яндекс.Картинках». Возможно, вы найдёте похожие варианты или даже тот же самый, но подешевле.

Если лень обрезать картинку или по каким-то причинам алгоритмы не распознали все объекты, достаточно выделить нужную часть. Тогда поиск будет искать только по ней. Так легко найти в изображении интерьера нужные картины, вазы, посуду или другие конкретные детали, а среди нескольких образов — выбрать только один, можно распознать на длинном скриншоте текста только нужные абзацы или на картине с большим количеством мелких объектов выбрать только нужное.

Когда присылают текст картинкой, а не документом, отредактировать его обычно невозможно. Но благодаря технологии оптического распознавания символов (OCR), которая входит в компьютерное зрение, проблема становится решаемой. Загружаем изображение — и получаем доступный для редактирования материал.

Теперь его можно проверить на уникальность, перевести в «Яндекс.Переводчике» или скопировать и вставить в документ.

Алгоритмы распознают текст даже на перевернутом изображении. А если будет какая-то ссылка, то по ней можно сразу же перейти. Компьютерное зрение использует 47 языков: 37 кириллико-латинских, а также китайский, японский, корейский, арабский, иврит, греческий, вьетнамский, армянский и грузинский.

Если в тексте есть номер телефона или имейл человека, то мы подсветим и поможем перейти, а во время поиска с мобильного телефона — позвонить.

Если пользователь ищет товар по внешнему виду, то достаточно написать такой запрос. Например, «желтый диван» или «синие шорты». В первой строке появятся рекомендации популярных товаров из «Яндекс.Маркета» по запросу, а ниже — все остальные. Рядом с картинкой мы сразу показываем название, цену и даем ссылку на магазин. При переходе в просмотр изображений показываем больше нужной информации: описание и наличие.

Выдавать на сайте знакомств фото актёра или модели за своё или публиковать в объявлении о продаже/сдаче квартиры чужие фотографии — это частая история. Поэтому чтобы сэкономить время, лучше заранее проверить человека или объявление перед началом общения. Загрузите фото человека или объекта, если что-то подозреваете, и подтвердите или опровергните свои опасения. А для уверенности проверьте несколько снимков, а не только один.

Поиск ищет по всему интернету, включая соцсети и сайты знакомств. Но для всех ресурсов есть два важных ограничения: страницы должны быть открытые для незарегистрированных пользователей и не запрещены к индексации.

Оформление квартир растениями — один из трендов последних лет в дизайне интерьера. Как правило, такая услуга не из дешёвых. Но можно найти подходящие референсы и повторить оформление самостоятельно. А вместо того, чтобы ходить по магазинам со снимками в поисках растений, достаточно загрузить фото в «Яндекс.Картинки». Алгоритмы распознают все растения на изображении, подскажут названия и дадут ссылки на товары.

Чаще всего пользователи фотографируют домашние цветы или растения на улицах городов России — липы, осины, березы, дубы и так далее. Так можно узнать, что за это за растение и почитать справочную информацию. С помощью такого метода можно проверить растения, которые есть у вас дома. Например, если у вас родился ребёнок или вы завели животные (а может, только планируете), сфотографируйте свой комнатный цветок и узнайте, не ядовит ли он. Иногда результаты могут оказаться действительно важными. Например, алоэ и герань вызывают у кошек расстройство пищеварения, а бегония и декабрист — отёк гортани.

Если вы не знаете, что хотите найти, просто вбейте ключевое слово. Уточняющие слова помогают быстро добавить к запросу фразы из предложенных после быстрого ознакомления с выдачей, чтобы получить еще более релевантный результат. Кроме того, «Поиск» предложит и связанные картинки — по тематикам, схожим с первоначальным запросом.

Найденные картинки можно обрабатывать прямо в редакторе на мобильных устройствах. Добавить надпись, создать рисунок или просто обрезать. Пользователи часто применяют эту функцию для создания поздравлений и открыток — частота использования в праздники растет в 2-3 раза.

Это связано с тем, что у «Яндекса» есть внушительный объём данных о том, какие картинки больше нравятся пользователям. Вот, например, что вам покажут по запросу «закат вид с балкончика на море»:

А вот «карелия избушки на озерах»:

Хоть сразу на заставку.