Google представила технологию, которая повышает разрешение изображений до 16 раз без потери качества Статьи редакции

В основе технологии — диффузионные модели.

В блоге Google AI, посвящённом исследованиям и разработкам в области искусственного интеллекта, обнаружили демонстрацию технологии масштабирования изображений на базе диффузионных моделей.

Как работает алгоритм Google

Специалисты внутренней команды Brain Team представили два связанных алгоритма, которые генерируют фотографии высокой чёткости без потери качества.

Первый из них называется SR3 (апскейлинг посредством повторного уточнения). На вход подаётся картинка с низким разрешением, и нейросеть пытается увеличить её, добавляя шум.

Модель обучается методам искажения изображения, а затем поворачивает весь процесс вспять, постепенно удаляя шум для достижения заявленного результата.

Инженеры обнаружили, что SR3 превосходит существующие генеративные алгоритмы, такие как PULSE и FSRGAN, особенно при работе с портретами и фотографиями природы.

В компании не остановились на достигнутом и разработали ещё одну диффузионную модель под названием CDM. На этот раз нейросеть обучили миллионам изображений высокого разрешения из базы ImageNet.

Алгоритм использует каскадный подход и увеличивает фотографии в два этапа: с разрешения 32×32 -> 64×64 -> 256×256 (в 8 раз), либо с 64×64 -> 256×256 -> 1024×1024 (в 16 раз).

Google опубликовала примеры работы алгоритмов. На некоторых изображениях заметны графические артефакты, но в целом результат действительно удивляет. О коммерческом распространении технологии данных пока нет.

Изменение изображений с 32x32 до 256x256 Google
Портреты, сгенерированные из фотографий низкого разрешения Google
0
178 комментариев
Написать комментарий...
Вадим Д.

Так технология улучшает низкокачественные фотографии (как в чудо-фильмах, где ночное фото с уличной камеры у банкомата увеличивают в 415 раз и в отражении в зрачке видят лицо убийцы и уверенно идентифицируют его) или генерирует, т.е. додумывает что "это низкокачественное фото могло бы выглядеть вот так"?

Ответить
Развернуть ветку
Denis Bystruev

Додумывает, беря за основу модели, на которых она была обучена.

То есть если у человека на щеке родимое пятно, которое полностью пропало на маленьком разрешении, на большом разрешении оно не появится.

Но зато могут появиться родимые пятна там, где их не было.

Ответить
Развернуть ветку
Дмитрий О

И не только родимые пятна
https://cs.pikabu.ru/images/big_size_comm/2013-07_6/13748007839543.jpg

Ответить
Развернуть ветку
Бабка в засаде

Бгг а прикинь реально если нейросеть на порнхабе обучить ))

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
175 комментариев
Раскрывать всегда