Как алгоритмы в Облаке Mail.ru выбирают лучшие фото для сторис

И почему туда попадают котики, но не смогут попасть бывшие.

В последнее время проект Облако фактически стал стартапом внутри VK. Главная задача, которую поставила перед собой команда, – работа с контентом пользователей. Первым запуском на этом пути стали сторис: их смотрят миллионы людей, а каждый десятый выкладывает их из Облака в соцсети. Расспросили команду, зачем в облаке появилась эта опция, по каким принципам нейросеть выбирает снимки для сторис и как составляются подборки.

Первые сторис пользователи Облака увидели в середине 2021 года. Механика сначала была только одна – «День в истории». Это подборки снимков, сделанных в один и тот же день в разные годы. На старте в процессе даже не участвовали никакие алгоритмы машинного обучения: мы просто отображали все найденные фото за эту дату.

Даже на этом этапе первые результаты превзошли самые смелые ожидания. Конверсия в сторис была 20% уже через несколько дней после запуска. Это вдохновило нас продолжать развивать новую функциональность, и мы прикрутили к ней алгоритм машинного обучения.

Наша задача — чтобы в подборках пользователи получали фотографии, которые хочется пересматривать, выкладывать в соцсетях, отправлять друзьям. Ведь сторис – это про эмоции. Мы хотим, чтобы подборки в Облаке становились поводом лишний раз связаться с друзьями и родными – прислать снимки и написать: «А помнишь..?»

Чтобы научить Облако собирать подборки именно из таких снимков, мы ввели собственный параметр — осомность (от английского “awesome”). Осомность — это субъективная крутость снимков.

Мы разработали алгоритм, который определяет осомность по ряду факторов. Например, он следит, чтобы фото не было смазанным. Еще один фактор — наличие объектов, которые может распознать нейросеть: люди, горы, пальмы, пляж, море и так далее. Чем больше таких объектов на снимке, тем лучше — например, снимок человека с котиком будет считаться осомнее, чем фото того же человека на однотонном фоне. Дополнительный плюс — изменение геолокации: если обычно человек снимает в Москве, то фото из другой точки — скажем, с Алтая — алгоритм, скорее всего, посчитает интересными.

Итак, если раньше мы отображали в подборке все снимки за определенную дату, то теперь нейросеть отбирает фото с оптимальным пересечением различных параметров, таких как время, сезон, наличие лиц и значимых событий. В итоге в сторис оказывается от трех до 30 самых осомных кадров.

Среди прочего мы обучали нейросеть на качественных фотографиях из открытых источников, которые мы проверяли сами. Благодаря этому пользователи Облака начали получать более симпатичные, цельные подборки.

Потом мы добавили возможность по свайпу вверх посмотреть не только фотографии, отобранные нейросетью, но вообще все снимки, сделанные в этот день в разные годы, – и на основе того, какими из не вошедших в подборку фотографий пользователи делились чаще всего, дообучили модель.

Так люди начали получать подборки, состоящие только из субъективно лучших снимков.

Также алгоритм учится распознавать «взрослый» контент и ретушь. В первом случае фотографии не должны включаться в подборки, чтобы их можно было спокойно просматривать в присутствии других людей.

Отредактированные фотографии, наоборот, в приоритете. Если человек из десятка похожих кадров выбрал для редактирования именно этот — значит, это самый удачный снимок, его и нужно включать в подборку.

Потом мы начали придумывать сценарии формирования подборок – от «Закаты в Таиланде в 2018 году» до «Ваши фотографии из картинной галереи». Сейчас у нас масса подобных сценариев на все случаи жизни. А еще мы работаем над возможностью скрыть на фотографиях лицо человека, чтобы такие снимки игнорировались алгоритмом и не попадали в подборку. Отличный способ исключить бывших не только из своей жизни, но и из сторис в Облаке.

За почти год существования сторис не обошлось без курьезов. Например, у нас была подборка «Парки и сады», в которой у некоторых пользователей оказывались фотографии… кладбища. Нейросеть сбивало с толку то, что в кадре много зелени. После этого случая мы пересмотрели параметры для разных категорий и прописали более четкие требования, чтобы алгоритм точно знал, что искать (и чего искать не нужно).

В начале 2022 года мы решили заменить «День в истории» на «Неделю в истории». У нас было предположение, что «недельные» подборки будут более интересны пользователям. И оно оказалось в корне неверным – мы получили огромное количество обращений с просьбой вернуть любимую подборку. Оказалось, «День в истории» помогает людям сравнивать себя с собой n лет назад, служит напоминанием о значимых событиях, а также о днях рождения близких и друзей. Пришлось вернуть.

Одна из главных метрик оценки эффективности сторис – это возвращаемость аудитории. И этот показатель нас очень радует – в среднем 15% пользователей возвращаются во вкладку с подборками снова и снова. При этом люди, у которых нет такой вкладки, проводят в Облаке около 50 секунд, а те, у кого она есть, – в районе двух минут. То есть сторис еще и заметно увеличивают продолжительность сессии.

О том, что в Облаке можно посмотреть новые сторис, мы сообщаем с помощью пуш-уведомления. Больше одного уведомления в день мы не отправляем: если у человека появилось сразу несколько подборок, система сообщит ему о самой интересной. Это также определяет алгоритм – и чаще всего, если среди прочего есть «День в истории», то пуш-уведомление будет о ней. Эти подборки пользователи по-прежнему любят больше других – их просматривают в среднем в четыре раза чаще. Поэтому то, что однажды мы отказались от этого сценария, мы расцениваем как мини-провал.

Веб-версия Облака и мобильное приложение – это почти что два разных продукта. Сценарии их использования сильно различаются: если мобильное приложение используют как раз для хранения фотографий, то в веб-версию люди обычно заходят с конкретной целью — например, создать, отредактировать или загрузить документ. Однако веб-пользователей сторис тоже заинтересовали.

В веб-версии Облака сторис располагаются в специальном блоке, который можно свернуть. Так вот, это делают меньше 3% пользователей. А больше трети из этих 3% потом передумывают и возвращают блок на место. Более того, мы не видим особой разницы в потреблении контента из сторис мобильными и веб-пользователями.

Зато есть разница в продвижении подборок. В мобильной версии для этого есть пуш-уведомления – люди к ним привыкли. А вот в вебе сложнее: браузерные уведомления всех бесят, так что этот инструмент мы даже не рассматривали. В ближайшее время мы планируем экспериментировать со сторис в почте, например добавлять пропущенные подборки в виде виджетов.

Если говорить об отличиях сторис в мобильном приложении и вебе, то у пользователей веб-версии Облака появилась возможность просматривать подборки с той фотографии, на которой они остановились. Если человек, например, посмотрел несколько снимков и закрыл сторис, превью обновится – и, когда он кликнет на него в следующий раз, он сможет досмотреть подборку, а не смотреть ее с первых снимков, которые он уже видел. Это увеличивает вероятность досмотра сторис и перехода к следующей подборке.