Пользователи «Мегамаркета» теперь могут находить одежду, обувь и аксессуары с помощью поиска по фото

Находить понравившиеся одежду, обувь и аксессуары на «Мегамаркете» теперь поможет поиск по фотографиям. Пользователи могут загружать как фотографии отдельных предметов, так и целый образ — нейросеть подберет максимально похожие товары и предложит их списком.

Поиск по фотографиям работает благодаря технологии компьютерного зрения, которое было создано на основе платформы Layer от Сбера. Нейросеть обучалась более полутора лет — за это время через нее прошли миллионы фотографий из модных журналов, с дизайнерских показов и фотосессий.

«Можно сказать, что поиск по фото становится своеобразным стандартом в категории Fashion. С его помощью можно найти как отдельные предметы гардероба, так и собрать полноценный лук — например, по примеру популярного стиля, образа любимой звезды или конкретной модели с показа. Так, можно взять фотографию из модного журнала и за несколько мгновений подобрать максимально похожие товары, — положить их в корзину и заказать. Точность у технологии очень высокая — согласно данным тестирования, точность достигает 98%», — рассказывает Игорь Рожков, директор по маркетингу Мегамаркета.

Нейросеть распознает не только одежду, но и пол, а также возраст человека на снимке. Это стало возможным благодаря внедрению в Layer собственной, основанной на визуальном трансформере модели MiVOLO, которая существенно упрощает поиск и позволяет давать более точные рекомендации. Например, нейросеть не будет предлагать платья для взрослых, если на фотографии изображен ребенок, а также предложит мужские предметы гардероба, если на снимке мужчина.

Благодаря усовершенствованным алгоритмам MiVOLO превосходит многие другие модели. Так, она с легкостью справится с определением пола и предположит возраст даже в том случае, если в кадре нет лица или модель стоит спиной к камере. Нейросеть справляется лучше человека: как показывают тесты, при просмотре фотографий респонденты в среднем допускают погрешность до 7 лет при определении возраста, тогда как алгоритмы – до 4 лет.

Загрузить в поиск можно изображения форматов jpg, jpeg и png, при этом нет ограничений в размере фотографии. Выдача происходит по наибольшему совпадению, а при необходимости все товары можно легко отфильтровать по категориям.