Как алгоритмы в Облаке Mail.ru выбирают лучшие фото для сторис

И почему туда попадают котики, но не смогут попасть бывшие.

В последнее время проект Облако фактически стал стартапом внутри VK. Главная задача, которую поставила перед собой команда, – работа с контентом пользователей. Первым запуском на этом пути стали сторис: их смотрят миллионы людей, а каждый десятый выкладывает их из Облака в соцсети. Расспросили команду, зачем в облаке появилась эта опция, по каким принципам нейросеть выбирает снимки для сторис и как составляются подборки.

Кирилл Игнатьков
руководитель проекта Облако

Как ностальгия помогла появлению сториc

Первые сторис пользователи Облака увидели в середине 2021 года. Механика сначала была только одна – «День в истории». Это подборки снимков, сделанных в один и тот же день в разные годы. На старте в процессе даже не участвовали никакие алгоритмы машинного обучения: мы просто отображали все найденные фото за эту дату.

Даже на этом этапе первые результаты превзошли самые смелые ожидания. Конверсия в сторис была 20% уже через несколько дней после запуска. Это вдохновило нас продолжать развивать новую функциональность, и мы прикрутили к ней алгоритм машинного обучения.

Как мы научили алгоритм выбирать снимки

Наша задача — чтобы в подборках пользователи получали фотографии, которые хочется пересматривать, выкладывать в соцсетях, отправлять друзьям. Ведь сторис – это про эмоции. Мы хотим, чтобы подборки в Облаке становились поводом лишний раз связаться с друзьями и родными – прислать снимки и написать: «А помнишь..?»

Чтобы научить Облако собирать подборки именно из таких снимков, мы ввели собственный параметр — осомность (от английского “awesome”). Осомность — это субъективная крутость снимков.

Мы разработали алгоритм, который определяет осомность по ряду факторов. Например, он следит, чтобы фото не было смазанным. Еще один фактор — наличие объектов, которые может распознать нейросеть: люди, горы, пальмы, пляж, море и так далее. Чем больше таких объектов на снимке, тем лучше — например, снимок человека с котиком будет считаться осомнее, чем фото того же человека на однотонном фоне. Дополнительный плюс — изменение геолокации: если обычно человек снимает в Москве, то фото из другой точки — скажем, с Алтая — алгоритм, скорее всего, посчитает интересными.

Два одинаковых снимка. Алгоритм оценил первый на 4,2, второй — на 7,3. Помимо наличия и расположения объектов, он обращает внимание на цвета, уровень шума, смазанности и еще на один секретный ингредиент

Итак, если раньше мы отображали в подборке все снимки за определенную дату, то теперь нейросеть отбирает фото с оптимальным пересечением различных параметров, таких как время, сезон, наличие лиц и значимых событий. В итоге в сторис оказывается от трех до 30 самых осомных кадров.

Как модель дообучали находить субъективно лучшие снимки

Среди прочего мы обучали нейросеть на качественных фотографиях из открытых источников, которые мы проверяли сами. Благодаря этому пользователи Облака начали получать более симпатичные, цельные подборки.

Потом мы добавили возможность по свайпу вверх посмотреть не только фотографии, отобранные нейросетью, но вообще все снимки, сделанные в этот день в разные годы, – и на основе того, какими из не вошедших в подборку фотографий пользователи делились чаще всего, дообучили модель.

Так люди начали получать подборки, состоящие только из субъективно лучших снимков.

Также алгоритм учится распознавать «взрослый» контент и ретушь. В первом случае фотографии не должны включаться в подборки, чтобы их можно было спокойно просматривать в присутствии других людей.

Отредактированные фотографии, наоборот, в приоритете. Если человек из десятка похожих кадров выбрал для редактирования именно этот — значит, это самый удачный снимок, его и нужно включать в подборку.

Как в Облаке появились подборки с закатами

Потом мы начали придумывать сценарии формирования подборок – от «Закаты в Таиланде в 2018 году» до «Ваши фотографии из картинной галереи». Сейчас у нас масса подобных сценариев на все случаи жизни. А еще мы работаем над возможностью скрыть на фотографиях лицо человека, чтобы такие снимки игнорировались алгоритмом и не попадали в подборку. Отличный способ исключить бывших не только из своей жизни, но и из сторис в Облаке.

За почти год существования сторис не обошлось без курьезов. Например, у нас была подборка «Парки и сады», в которой у некоторых пользователей оказывались фотографии… кладбища. Нейросеть сбивало с толку то, что в кадре много зелени. После этого случая мы пересмотрели параметры для разных категорий и прописали более четкие требования, чтобы алгоритм точно знал, что искать (и чего искать не нужно).

Как пользователи опровергли одну нашу гипотезу

В начале 2022 года мы решили заменить «День в истории» на «Неделю в истории». У нас было предположение, что «недельные» подборки будут более интересны пользователям. И оно оказалось в корне неверным – мы получили огромное количество обращений с просьбой вернуть любимую подборку. Оказалось, «День в истории» помогает людям сравнивать себя с собой n лет назад, служит напоминанием о значимых событиях, а также о днях рождения близких и друзей. Пришлось вернуть.

Одна из главных метрик оценки эффективности сторис – это возвращаемость аудитории. И этот показатель нас очень радует – в среднем 15% пользователей возвращаются во вкладку с подборками снова и снова. При этом люди, у которых нет такой вкладки, проводят в Облаке около 50 секунд, а те, у кого она есть, – в районе двух минут. То есть сторис еще и заметно увеличивают продолжительность сессии.

О том, что в Облаке можно посмотреть новые сторис, мы сообщаем с помощью пуш-уведомления. Больше одного уведомления в день мы не отправляем: если у человека появилось сразу несколько подборок, система сообщит ему о самой интересной. Это также определяет алгоритм – и чаще всего, если среди прочего есть «День в истории», то пуш-уведомление будет о ней. Эти подборки пользователи по-прежнему любят больше других – их просматривают в среднем в четыре раза чаще. Поэтому то, что однажды мы отказались от этого сценария, мы расцениваем как мини-провал.

Сергей Тарасенко

менеджер продуктов Облако и Диск-О:

Как взаимодействуют со сторис веб-пользователи

Веб-версия Облака и мобильное приложение – это почти что два разных продукта. Сценарии их использования сильно различаются: если мобильное приложение используют как раз для хранения фотографий, то в веб-версию люди обычно заходят с конкретной целью — например, создать, отредактировать или загрузить документ. Однако веб-пользователей сторис тоже заинтересовали.

В веб-версии Облака сторис располагаются в специальном блоке, который можно свернуть. Так вот, это делают меньше 3% пользователей. А больше трети из этих 3% потом передумывают и возвращают блок на место. Более того, мы не видим особой разницы в потреблении контента из сторис мобильными и веб-пользователями.

Зато есть разница в продвижении подборок. В мобильной версии для этого есть пуш-уведомления – люди к ним привыкли. А вот в вебе сложнее: браузерные уведомления всех бесят, так что этот инструмент мы даже не рассматривали. В ближайшее время мы планируем экспериментировать со сторис в почте, например добавлять пропущенные подборки в виде виджетов.

Если говорить об отличиях сторис в мобильном приложении и вебе, то у пользователей веб-версии Облака появилась возможность просматривать подборки с той фотографии, на которой они остановились. Если человек, например, посмотрел несколько снимков и закрыл сторис, превью обновится – и, когда он кликнет на него в следующий раз, он сможет досмотреть подборку, а не смотреть ее с первых снимков, которые он уже видел. Это увеличивает вероятность досмотра сторис и перехода к следующей подборке.

Сторис в Облаке в цифрах

— Пользователи Облака посмотрели 305 млн фотографий (это около 43 млн сторис) в 2021 году

— Каждый десятый пользователь делится сторис из Облака в соцсетях

— 30% – конверсия в просмотр сторис внутри приложения

— 15% пользователей смотрят сторис регулярно

— В два раза больше времени проводят в Облаке пользователи, у которых есть вкладка со сторис

0
15 комментариев
Написать комментарий...
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Paul Brezcuu

Иногда товарищ майор выбирает лучшие в ручном режиме)

Ответить
Развернуть ветку
Сергей Кузнецов

А сториз можно в облаке прям публиковать? Или просто проанализировать и потом выбрать лучшее и утащить в какую-нибудь соц.сеть?

Ответить
Развернуть ветку
VK
Автор

Сториз появляются в галерее в приложении и в веб-версии, понравившимися снимками можно сразу поделиться в соцсетях — для этого нужно нажать кнопку шеринга.

Ответить
Развернуть ветку
Сергей Кузнецов

Ага, интересно, спасибо! А это только на платных тарифах доступно, да?

Ответить
Развернуть ветку
Darth Swordman
Также алгоритм учится распознавать «взрослый» контент и ретушь.

Вот это интересно, кстати. Есть продолжительный опыт ежедневного использования Discord, у которого очень странный алгоритм отбора «взрослого» контента. К примеру, регулярно банит на лету снимки, например, спортсменов-мужчин с обнажённым торсом (даже Железного Арни не пощадил!), и не менее регулярно пропускает гачи-контент или другую дичь, схожую по содержанию. А у вас были/есть похожие накладки? И если да, то как боретесь?

Ответить
Развернуть ветку
Алексей Спасёнов

Для модерации «взрослого» контента у нас есть несколько моделей. Отдельно мы делаем оценку для детектирования порнографии и изображений с эротическим содержанием. В результате такого разбиения на 2 подкласса мы можем более точно находить сигналы для создание безопасной выдачи фотографий. При обучении модели мы использовали данные как из мультипликационных картинок и видео, так и данные, отражающих реальные объекты.

Ответить
Развернуть ветку
Max Payne

ИНТЕРЕСНО апл плотит денгы за изображение ипхона в рекламах (типо рандомный телефонус)?

Ответить
Развернуть ветку
Российский Крым

Гугл иногда выдает фото счётчиков и скучнейшие фото бумаг с рабочего места вызывающие депрессию. У вас такого нет?

Ответить
Развернуть ветку
Максим Михайлов

Вообще, конечно, удивительное рядом - мне недавно по тому же принципу айфон подкинул прекрасную подборку фоток из прошлогодней летней поездки, еще и музыку сверху наложив. Пошерил с родственниками, они подумали, что я заморочился и сам видео склеил, а у меня это заняло от силы 2 минуты :)

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Леопольд

Эти кремлеботы сейчас с тобой в одной комнате?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Леопольд

блин

Ответить
Развернуть ветку
lakoros

Я вот вообще не хочу чтобы алгоритмы шерстили мои личные фото и видео.
Тем более меня раздражают их программы для смартфонов. у которых или отдай нам все твои фото или никакой автозагрузки вообще.

Ответить
Развернуть ветку
12 комментариев
Раскрывать всегда