Салаты, свинки, шапки — мы обучили ИИ новогоднему настроению

Когда в воздухе витает новогоднее настроение, разработчики наконец сократили свой бэклог, а маркетологи продолжают искать hype train — рождаются безумные идеи. Например, создать нейросеть, которая будет украшать фотографии типичными атрибутами новогоднего застолья в России.

Немного контекста. У нашей компании Everypixel, помимо весьма известного поисковика для дизайнеров, есть несколько нейросетей на основе технологий компьютерного зрения. Некоторые из них мы используем как фактор ранжирования поисковика, некоторые предоставляем другим разработчикам по API — например, для тэгирования снимков.

В начале декабря наша команда поучаствовала в хакатоне PicsArt, где защищала MVP приложения для определения объектов на фото и заполнения их блестками. Блестки в моде, но призовое место мы в итоге не получили. Зато желание сделать новый и максимально трендовый продукт осталось.

В процессе распределения мандаринок по офису команда поняла, что “та самая” идея все время была на поверхности. Традиционное празднование Нового года в России всегда имело свой особый шарм удалого застолья — с салатами, новогодними шапками и коврами вокруг. Но в последние годы весь этот колорит потеснил ЗОЖ, бесконечные задачи и скандинавские интерьеры.

Нужно возвращать Новый год! Так в Everypixel решили создать виртуальную машину времени, которая позволила бы вновь почувствовать магию неудержимого торжества и ощутить аромат прошлогодних салатов. А если быть совсем точным — онлайн-обработчик изображений, который может распознавать объекты и наделять их новогодними атрибутами.

За основу новоиспеченного сервиса разработчики взяли две технологии. С помощью object segmentation ИИ распознает объекты, изображенные на снимке, и определяет их границы. В нашем случае это круглые предметы вроде тарелок, а еще домашние животные — сейчас алгоритм определяет все это за долю секунды. Вторая технология — face detection — находит все лица на фото и украшает самих героев снимка.

Когда команда определилась с принципом работы сервиса, предстояло нарисовать сами украшения. Всего за несколько дней (ох уж эти декабрьские дедлайны) дизайнер Алёна создала целый пак новогодних атрибутов, которые хоть сейчас разбирай на стикеры. Несколько свиней с разным характером, аппетитная селедка под шубой, мандарины… Даже без Moët не обошлось.

Набор изображений был передан команде разработчиков, которые все это время продолжали прокачивать алгоритмы и готовить сервера к предстоящим нагрузкам. В итоге наш сервис научился следующему:

• Распознавать тарелки и любые круглые объекты на фото и заменять их традиционными новогодними блюдами;
• Узнавать лица людей и надевать им на головы шапку Деда Мороза или кокошник Снегурочки;
• Замечать домашних питомцев и вместо них “подкладывать свинью” — символ 2019 года;
• Добавлять блестки на холодильники, галстуки и поезда, чтобы все сверкало, как на самых модных Instagram-снимках;
• Обматывать гирляндами автомобили и деревья.

А чтобы наглядно продемонстрировать крутость алгоритма, сделали во всех смыслах блестящий лендос. Мы прогнали через него несколько кадров — и вот, что получилось:

С Новым годом, VC! Не забудьте попробовать привнести немного Нового года и на свои снимки.