Нейросеть научили делать из селфи "нормальные фото"
- Исследователи и ученые из Бельгийского университета KU Leuven и лаборатории Adobe Research создали технологию, которая преобразует селфи в "нормальные фото", которые выглядят как будто сняты другим человеком. Проект получил название Unselfie.
Авторы проекта смогли решить проблему неестественной позы тела, характерной для селфи. Обычное кадрирование и существующие на рынке приложения и графические редакторы не способны заметно улучшить композицию в кадре, считают ученые.
Алгоритм Unselfie перемещает поднятые для держания смартфона руки вниз, расслабляет плечи и туловище человека в кадре, корректирует детали его одежды, а затем заполняет открывшиеся из-за такого перемещения фоновые области на фотографии. Результат преобразования авторы называют «портретом в нейтральной позе».
- Эта техника заимствована из развивающейся области искусственного интеллекта, который может изменять фотографии реалистичным образом. В основе системы лежит алгоритм DensePose, который определяет позу человека на снимке.
Принцип работы Unselfie таков: двухмерная проекция позы со снимка сравнивается с имеющимися в базе данных исследователей "естественными" позами с помощью метода k-ближайших соседей. Алгоритм выявляет среди "обычных" фото наиболее похожую позу по положению верхней части торса, объединяет ее попиксельно с изображением на селфи, вставляет обратно в картинку, а затем дорисовывает открывшиеся "дыры" в фоне.
- Чтобы обучить нейросеть качественно преобразовывать фото, исследователи собрали из Интернета 23 169 "обычных" фотографий людей и 4614 селфи. Полученные в результате обучения изображения сравнили с другими существующими методами преобразования фото, например CycleGAN. Метод Unselfie выигрывал в 79−82% случаев.
- Однако из-за сравнительно небольшой подборки фото в базе данных алгоритм пока имеется ограничения. 10% нетипичных поз пока преобразовываются неидеально: плечи или руки получаются неестественно узкими или слишком прижатыми к телу. И все же авторы очень довольны: "Качественные и количественные оценки показывают превосходство нашего алгоритма над остальными".
- О коммерческой реализации Unselfie пока не объявлялось. Но учитывая, что 4 из 5 авторов проекта работают в Adobe Research, возможно, стоит ожидать появление такого сервиса в бесконечной линейке приложений Adobe.