Разрабатываем алгоритм праздника: как поздравить близких с помощью интерактивного видео и нейросетей

В 2019 году нам удалось поработать с «Почтой Mail.ru» уже над тремя интерактивными проектами к праздникам. Расскажем о проектах и технической реализации.

В закладки

Спецпроект ко Дню победы

К 9 мая Почта Mail.ru запустила спецпроект.

На сайте пользователи могут загрузить черно-белое фото из семейного архива, а нейросети сделают его цветным и восстановят, если есть какие-то дефекты - определят и «дорисуют» недостающие детали.

Восстановленные с помощью нейросетей памятные фото можно распечатать для участия в акции Бессмертный полк, а кроме того отправить по почте и поделиться с друзьями в соцсетях.

Для реализации проекта мы разработали сайт и интегрировали по API технологию Vision. Функциональность обработки фото основывается на технологическом стеке Mail Cloud Solution. Наша работа состояла из двух частей:

1. Интеграционная часть

Мы подключили к сайту возможность обработки фото, отправки обработанных фотографий на почту и публикации в соцсетях.

Пользовательский опыт сделали максимально удобным: регистрироваться перед загрузкой фото не нужно.

  • Пользователь загружает фото;
  • Нейросети его обрабатывают;
  • Пользователь авторизуется в своей почте mail.ru, и обработанные фото автоматически подгружаются для отправки нового письма, а загруженные фото сохраняются после авторизации.

Чтобы обработанные фото сохранялись после авторизации, мы подключили библиотеку Web SQL и отправляли фото в браузер пользователя.

Это решение позволило ограничения на объем сохраненных в браузере файлов и дополнительной нагрузки на сервер.

2. Серверная часть

Требовалось решение, ориентированное на большие нагрузки. Поэтому для баланса трафика мы разделили сервер на два дата-центра с разной геолокацией. Сервер и клиент написаны на высокопроизводительном node js-решении.

Техническое решение разработали за 2 дня, а весь проект запустили за неделю.

Проект работает во всех браузерах, начиная с ie11, на десктопе и всех мобильных устройствах.

Сайт посетило более 1 000 000 пользователей.

Обработано более 850 000 фотографий.

Монстрическое поздравление с 8 марта

Чтобы поздравить близких с 8 марта, Почта Mail.ru сняла интерактивный мультфильм про монстров, которые собирают и отправляют букеты к празднику.

На сайте пользователь может ввести имя и выбрать один из букетов. После этого генерируется персональный мультфильм-поздравление, ссылку на который можно отправить по почте или поделиться ей в соцсетях.

Мы создали сайт проекта, интегрировали соцсети функциональность отправки поздравления на почту. В базу добавили более 500 женских имен, чтобы подписать букет, и конечно же, электронный поздравление можно отправить и маме.

Диджитал-чудеса к новому году

Самый сложный из алгоритмов потребовался для новогодней открытки.

Чтобы дети продолжали писать письма Деду Морозу и верить в новогодние чудеса, видео с персональным поздравлением можно было сгенерировать для каждого ребенка. В ярком видео показан сказочный дом Деда Мороза, а в конце волшебник обращается к ребенку лично.

Если в прошлом году можно было добавить только имя ребенка, то в новом видео мы добавили вставки с возрастом и хобби. В зависимости от того, что выбрал на сайте пользователь, меняется текст поздравления и сюжет ролика. Для того, чтобы видео из нескольких частей генерировалось в единый поток, мы разработали специальный алгоритм.

К каждому имени ребенка, а в базе их было 856, даже самые редкие, генерируется папка с файлом вида имя+возраст+хобби.

Дальше мы сгенерировали 30 папок с фрагментами видео для озвучки возраста и 11 папок с видеовставками с хобби. Во всех папках с именами дополнительно генерируется по 191 файлу плейлиста.

Таким образом формируются все возможные комбинации возраста и хобби к каждому имени, включая вариант, когда не указано имя для мальчика и девочки. В каждом плейлисте в зависимости от хобби, возраста или хобби+возраста меняется базовый плейлист каждой папки, в них меняется путь к видеофайлам с озвучкой возраста и/или добавлением в плейлист вставки с видеорядом хобби и регулируется смещение видеоряда.

Чтобы синхронизировать вставки, пришлось поэкспериментировать с подгонкой тайминга, чтобы вставка нормально легла на существующий ряд.

В результате получается 134976 маленьких плейлистов суммарным размером примерно 500 Мб.

При работе над новым видео учитывали высокую нагрузку на сайт, сжатые сроки, адаптацию под разные браузеры и типы устройств и, конечно, необходимость моментально склеивать видео.

Мы создали технологическую часть — разработку и верстку сайта, а весь высоконагруженный проект запустили через 3 дня после получения финального видео.

Пользователи сгенерировали на сайте более полумиллиона видеопоздравлений.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Digital агентство Далее", "author_type": "self", "tags": [], "comments": 0, "likes": 0, "favorites": 2, "is_advertisement": false, "subsite_label": "dev", "id": 70557, "is_wide": false, "is_ugc": true, "date": "Wed, 05 Jun 2019 13:25:08 +0300" }
{ "id": 70557, "author_id": 134321, "diff_limit": 1000, "urls": {"diff":"\/comments\/70557\/get","add":"\/comments\/70557\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/70557"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 235819, "last_count_and_date": null }

Комментариев нет 0 комм.

Популярные

По порядку

0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Приложение-плацебо скачали
больше миллиона раз
Подписаться на push-уведомления
{ "page_type": "default" }