Google представила технологию, которая повышает разрешение изображений до 16 раз без потери качества Статьи редакции
В основе технологии — диффузионные модели.
В блоге Google AI, посвящённом исследованиям и разработкам в области искусственного интеллекта, обнаружили демонстрацию технологии масштабирования изображений на базе диффузионных моделей.
Специалисты внутренней команды Brain Team представили два связанных алгоритма, которые генерируют фотографии высокой чёткости без потери качества.
Первый из них называется SR3 (апскейлинг посредством повторного уточнения). На вход подаётся картинка с низким разрешением, и нейросеть пытается увеличить её, добавляя шум.
Модель обучается методам искажения изображения, а затем поворачивает весь процесс вспять, постепенно удаляя шум для достижения заявленного результата.
Инженеры обнаружили, что SR3 превосходит существующие генеративные алгоритмы, такие как PULSE и FSRGAN, особенно при работе с портретами и фотографиями природы.
В компании не остановились на достигнутом и разработали ещё одну диффузионную модель под названием CDM. На этот раз нейросеть обучили миллионам изображений высокого разрешения из базы ImageNet.
Алгоритм использует каскадный подход и увеличивает фотографии в два этапа: с разрешения 32×32 -> 64×64 -> 256×256 (в 8 раз), либо с 64×64 -> 256×256 -> 1024×1024 (в 16 раз).
Google опубликовала примеры работы алгоритмов. На некоторых изображениях заметны графические артефакты, но в целом результат действительно удивляет. О коммерческом распространении технологии данных пока нет.
Чудес не бывает. Очки у чувака в первом видео частично пропали, а так норм.
Где видео?
mp4 в начале статьи. Полный адрес:
https://leonardo.osnova.io/b268202a-0bea-5416-888f-fd3cc9d4489b/-/format/mp4/
Что приведено на видео не совсем корректно. Изначально брали хорошее фото, качественно сжимали (без радужных пикселей). А какой результат будет на 10/10 шакалах? Там куча 🌈 пикселей (см. Картинку с екарным бабаем)
А зачем брать 10 тысяч раз перекодированный и пережатый файл, если задача не в этом?
Ну хорошо. Пусть не 10 тысяч раз перекодированное. Есть и более "жизненные" ситуации. К примеру, старые сюжеты с ТВ и ютуба. Где снимали в 360, (в лучшем случае в 480) качестве.
В большинстве случаев проще передать хороший поток, чем кодировать и декодировать данные...
А что, если эта технология дорисовывает кадр и может использоваться в качестве создания "Уникального" контента? (пиратить)
Стоит прищуриться и уже острые пиксели не видать. Моет, но тем не менее качество хорошее