Google представила технологию, которая повышает разрешение изображений до 16 раз без потери качества Статьи редакции
В основе технологии — диффузионные модели.
В блоге Google AI, посвящённом исследованиям и разработкам в области искусственного интеллекта, обнаружили демонстрацию технологии масштабирования изображений на базе диффузионных моделей.
Специалисты внутренней команды Brain Team представили два связанных алгоритма, которые генерируют фотографии высокой чёткости без потери качества.
Первый из них называется SR3 (апскейлинг посредством повторного уточнения). На вход подаётся картинка с низким разрешением, и нейросеть пытается увеличить её, добавляя шум.
Модель обучается методам искажения изображения, а затем поворачивает весь процесс вспять, постепенно удаляя шум для достижения заявленного результата.
Инженеры обнаружили, что SR3 превосходит существующие генеративные алгоритмы, такие как PULSE и FSRGAN, особенно при работе с портретами и фотографиями природы.
В компании не остановились на достигнутом и разработали ещё одну диффузионную модель под названием CDM. На этот раз нейросеть обучили миллионам изображений высокого разрешения из базы ImageNet.
Алгоритм использует каскадный подход и увеличивает фотографии в два этапа: с разрешения 32×32 -> 64×64 -> 256×256 (в 8 раз), либо с 64×64 -> 256×256 -> 1024×1024 (в 16 раз).
Google опубликовала примеры работы алгоритмов. На некоторых изображениях заметны графические артефакты, но в целом результат действительно удивляет. О коммерческом распространении технологии данных пока нет.
Даже если учесть что это пока прототип - технология всё равно нереально крутая. По идее такую штуку надо встраивать в камеры смартфонов что бы делать качество фоток в миллион раз лучше, ато за последние 10 лет в смартфонах кроме интерполяции ничего не придумали особо, а цифры пикселей растут как дрожжах...
Pixelshift погугли, в некоторых проф камерах Sony уже есть. Бешенные разрешения за счет мультиэкспозиции со сдвигом матрицы. Нужно ли это кому-то у смартфонах, большой вопрос.
как я понимаю, сейчас такое есть в любом топовом смартфоне. именно за счёт этого качество снимков с них так улучшилось в самые последние годы
Не совсем, но принцип похож. Pixelshift увеличивает разрешение, а в смартфонах делаются десятки фото вместо одного с разной экспозицией, чтобы поднять динамический диапазон фото и увеличить s/n ratio. Так работают вроде уже все современные смартфоны нормальных как минимум заметных производителей.
Вроде, смарты (а точнее, проги типа гугл.камеры) уже умеют дрожание рук использовать для улучшения детализации. То, что раньше было зашкваром и "лечилось" штативом, становится маст хэвом))
Да, умеют. Но в проф применении эти алгоритмы не очень канают. Потому что это все же такое реалистичное комбо под реальное фото. Для семейных альбомов же вполне пойдет.