Google представила технологию, которая повышает разрешение изображений до 16 раз без потери качества Статьи редакции

В основе технологии — диффузионные модели.

В блоге Google AI, посвящённом исследованиям и разработкам в области искусственного интеллекта, обнаружили демонстрацию технологии масштабирования изображений на базе диффузионных моделей.

Как работает алгоритм Google

Специалисты внутренней команды Brain Team представили два связанных алгоритма, которые генерируют фотографии высокой чёткости без потери качества.

Первый из них называется SR3 (апскейлинг посредством повторного уточнения). На вход подаётся картинка с низким разрешением, и нейросеть пытается увеличить её, добавляя шум.

Модель обучается методам искажения изображения, а затем поворачивает весь процесс вспять, постепенно удаляя шум для достижения заявленного результата.

Инженеры обнаружили, что SR3 превосходит существующие генеративные алгоритмы, такие как PULSE и FSRGAN, особенно при работе с портретами и фотографиями природы.

В компании не остановились на достигнутом и разработали ещё одну диффузионную модель под названием CDM. На этот раз нейросеть обучили миллионам изображений высокого разрешения из базы ImageNet.

Алгоритм использует каскадный подход и увеличивает фотографии в два этапа: с разрешения 32×32 -> 64×64 -> 256×256 (в 8 раз), либо с 64×64 -> 256×256 -> 1024×1024 (в 16 раз).

Google опубликовала примеры работы алгоритмов. На некоторых изображениях заметны графические артефакты, но в целом результат действительно удивляет. О коммерческом распространении технологии данных пока нет.

Изменение изображений с 32x32 до 256x256 Google
Портреты, сгенерированные из фотографий низкого разрешения Google
0
178 комментариев
Написать комментарий...
Максим Федоров
Ответить
Развернуть ветку
useless uS

Ждала комментарии на эту тему. Ваш превзошёл мои лучшие ожидания в 16 раз.

Ответить
Развернуть ветку
2 комментария
Aidar S

Учитывая, что нейросеть "дорисовывает" из своего, если можно так сказать, банка "воображения", основанного на предыдущем опыте, там при каждом "увеличении" будут разные номера автомобиля и разные картинки в отражении :)

Ответить
Развернуть ветку
1 комментарий
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Щукин Сергей

Теперь уже не посмеёшься!

Вот так технологии убивают мемы 🤣

Ответить
Развернуть ветку
3 комментария
Misha Zakarin

От этого комментария на моих глазах появился фильтр Ностальгическая слеза, и я увидел в логотипе VC лайк с мизинцем с логотипа «Цукерберг позвонит». Применил этот фильтр ещё раз — лицо Андрея Загоруйко. После третьего наложения я уже скроллил эту страницу, видя ленту ЖЖ unab0mber 😭

Ответить
Развернуть ветку
Sergey Nikolaevich Gerasimov

Когда-то это было круто, потом мы выросли и поняли, что это голивудский пистеш…
Теперь я не знаю что думать 🤣🤣🤣
В Голливуде ванги сидят по ходу 🤣🤙

Ответить
Развернуть ветку
Алексей Штейн

Ну неужели теперь можно будет улучшать качество фото нло, когда фоткают на мыльницу !

Ответить
Развернуть ветку
Georgy Uvarov

Ща только надо датасет с миллионами нло найти только

Ответить
Развернуть ветку
9 комментариев
KSA

После изобретения тиктока НЛО исчезли.

Ответить
Развернуть ветку
9 комментариев
Vlad Likh

Не уверен, что в ImageNet, на котором модель обучена, были летающие тарелки. Хотя...

Ответить
Развернуть ветку
Brno

Тогда вся магия испарится

Ответить
Развернуть ветку
Nikita

Full HD

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Emil Milka

вызов принят

Ответить
Развернуть ветку
4 комментария
Anton Vlasov

сколько это по шкале ебучих шакалов?

Ответить
Развернуть ветку
1 комментарий
Щукин Сергей

Трамп?

Ответить
Развернуть ветку
6 комментариев
Dmitry

Не мем из сериала Дальнобойщики про "Ёкарный бабай"?)

Ответить
Развернуть ветку
Алексей Соловьёв

Pied Piper?

Ответить
Развернуть ветку
Арсен

Там разве не обратный алгоритм был? Вроде он там алгоритм сжатия без потерь придумал

Ответить
Развернуть ветку
2 комментария
Вадим Осадчий

Ляяяя, так спешил в комменты написать ))

Ответить
Развернуть ветку
Brno

Это автор?

Ответить
Развернуть ветку
5 комментариев
Щукин Сергей

.

Ответить
Развернуть ветку
Pier Kampor

Сильно. Теперь есть чем чекать аватарки с форумов

Ответить
Развернуть ветку
Vissam Laban
Ответить
Развернуть ветку
5 комментариев
Вадим Д.

Так технология улучшает низкокачественные фотографии (как в чудо-фильмах, где ночное фото с уличной камеры у банкомата увеличивают в 415 раз и в отражении в зрачке видят лицо убийцы и уверенно идентифицируют его) или генерирует, т.е. додумывает что "это низкокачественное фото могло бы выглядеть вот так"?

Ответить
Развернуть ветку
Vlad Likh

Додумывает, конечно, откуда он по-вашему должна брать информацию, которой нет на фото?)

Ответить
Развернуть ветку
3 комментария
Denis Bystruev

Додумывает, беря за основу модели, на которых она была обучена.

То есть если у человека на щеке родимое пятно, которое полностью пропало на маленьком разрешении, на большом разрешении оно не появится.

Но зато могут появиться родимые пятна там, где их не было.

Ответить
Развернуть ветку
3 комментария
33_rublya
Ответить
Развернуть ветку
Denis Kiselev

Ждём нейросеть, которая по случайному набору букв восстанавливает смысл текста! 

А потом - натравливаем её на местные комменты))

Ответить
Развернуть ветку
Николай Замотаев

На выступления президента на новый год.

Ответить
Развернуть ветку
1 комментарий
Леван Какубава

Вроде был такой Олег

Ответить
Развернуть ветку
Al Pr

А тут шо комменты живые люди пишут? 

Ответить
Развернуть ветку
1 комментарий
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Дарья Смолякова

очка

Ответить
Развернуть ветку
1 комментарий
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Пользователь VC

Даже если учесть что это пока прототип - технология всё равно нереально крутая. По идее такую штуку надо встраивать в камеры смартфонов что бы делать качество фоток в миллион раз лучше, ато за последние 10 лет в смартфонах кроме интерполяции ничего не придумали особо, а цифры пикселей растут как дрожжах...

Ответить
Развернуть ветку
Николай Замотаев

И получить по итогу то, что видео/фото со смартфона нельзя будет предъявить в суде как доказательство?

Ответить
Развернуть ветку
4 комментария
Николай Замотаев
а цифры пикселей растут как дрожжах

Так если оптика мелкая и пластиковая - сколько не отращивай цифры пикселей, будет то же самое мыло. Только ещё и зернистое - потому что чем меньше пиксель - тем шумнее итоговый результат.
Зато маркетинг - покупайте наших слонов - у них больше мегапикселей и они тоньше.

Ответить
Развернуть ветку
2 комментария
Rodeus

Pixelshift погугли, в некоторых проф камерах Sony уже есть. Бешенные разрешения за счет мультиэкспозиции со сдвигом матрицы. Нужно ли это кому-то у смартфонах, большой вопрос.

Ответить
Развернуть ветку
4 комментария
Степан Позняк

Так ведь похожую тему и вставляют в смартфоны. Просто не на столько крутое и мощное.

Ответить
Развернуть ветку
Никита Хисматов

Когда "Зеленый слоник" в 4К?

Ответить
Развернуть ветку
Al Pr

Скоро на экранах всего мира: "я угадаю тебя по одному пикселю".

Ответить
Развернуть ветку
Даниил Лепетков

А как воспользоваться технологией? Она общедоступна?

Ответить
Развернуть ветку
Гуру Хренов

наконец то на второй странице появился дельный вопрос, который меня тоже интересует !
если вам интересно, то какие то колдуны из китая сделали еще пару лет назад похожую систему, которая явно использует AI
Она улучшает очень круто фотографии, и иногда разрешение тоже увеличивает. Называется remini и есть во всех апп сторах
Не без проблем работает конечно, но результаты иногда офигительные

https://play.google.com/store/apps/details?id=com.bigwinepot.nwdn.international&hl=en_CA&gl=US

Ответить
Развернуть ветку
7 комментариев
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Brno

О коммерческом распространении технологии данных пока нет.

Ответить
Развернуть ветку
Vitaly

А я всё жду когда появится инструмент, которому можно было бы скормить например несколько фото одного человека/места, а он на основе этих фото уже увеличивал бы детализацию. Иначе нередко на выходе получается уже немного другое лицо.

Ответить
Развернуть ветку
Bulat Ziganshin

в любом топовом смарте сейчас такое

Ответить
Развернуть ветку
Илья Высочинский

Google: become human

Ответить
Развернуть ветку
Сергей Мазур

Backend

Ответить
Развернуть ветку
Миша Магадан

Ну проверка тут простая, как с переводом на другой язык. Сначала ухудшаем изображение, потом улучшаем его супералгоритмом, потом сравниваем. Пусть так покажут, тогда будет что обсуждать.
Имхо при недостатке информации её взять негде, будь ты хоть трижды нейросеть. Вот из видео плохого качества сделать изображение более хорошего качества теоретически возможно.

Ответить
Развернуть ветку
Vlad Likh

Конечно она не восстановит никакие уникальные признаки вашего изображения. Сеть будет пытаться «дорисовать» детали на базе датасета, на котором она обучалась.

Здесь вопрос нужно ставить иначе: «насколько важны для вас эти уникальные признаки?». Если не важны, подобный подход вполне себе уместен.

Ответить
Развернуть ветку
Rodeus

Так и практически возможно. Коммерческие продукты на рынке уже несколько лет существуют

Ответить
Развернуть ветку
Александр Трофимов

Про видео - DLSS. Уже в реалтайме улучшает качество изображения так, что лучше оригинала выходит. 

Ответить
Развернуть ветку
Dmitry Yashin

А в чём новинка? На https://letsenhance.io/ уже давно такое делать же можно.

Ответить
Развернуть ветку
Артур Дунайцев

Я вам больше скажу, я эту штуку в продукте активно использовал, а у нас было ни много ни мало пол-ярда изображений, а на печать надо было выводить с высоким dpi, а пользователи грузили чопопало. Все классно, но это сторонний сервис, который к себе на машинку не развернешь для скорости, а летсэнчанс иногда мог магию делать по минуте и падал по таймауту. Вот отсюда гугловое решение с возможностью купить лицензию и пользоваться вышло бы и дешевле и производительнее. Так что вот вам и коммерческое использование сразу

Ответить
Развернуть ветку
Sergey Abramov

В принципиально другом подходе и на порядок лучшем результате.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
aero

Без потери качества звука

Ответить
Развернуть ветку
Yurii Bychkov

и без ГМО

Ответить
Развернуть ветку
Denis Bystruev

Чудес не бывает. Очки у чувака в первом видео частично пропали, а так норм.

Ответить
Развернуть ветку
Вадим Осадчий

Не, ну порнушку увеличить норм.

Ответить
Развернуть ветку
Nathan Zachary

Где видео?

Ответить
Развернуть ветку
5 комментариев
Жорж Милославский
Ответить
Развернуть ветку
Всеволод Мирославский

Неправильная картинка. Чёткие пиксели. Мелких шумов нет. Обычно, вокруг текста оьразуется

Ответить
Развернуть ветку
Степан Воронцов

Ну я так понял не повышает разрешение, а дорисовывает изображение 

Ответить
Развернуть ветку
Qavai

Ага.

128 Кбит MP3 тоже некоторые считают за качество и не замечают разницы.

Ответить
Развернуть ветку
Rodeus

Продукты Topaz по увеличению разрешения фото и видео, с AI.

Ответить
Развернуть ветку
Sergey Abramov

Они не совсем так работают.

У Topaz нет генеративных моделей, они работают как сверточные модели. В статье же говорится именно про работу генеративных сетей. Результат получается на порядок интереснее и чище. Хотя и со значительной долей "фантазии" со стороны алгоритма.

Ответить
Развернуть ветку
4 комментария
Игорь Кузнецов

Показали бы 3 картинки: исходник, в низком разрешение и output.

Было бы интересно сравнить с исходником, насколько оно точно генерирует.

Ответить
Развернуть ветку
Sergey Abramov

Референс для одной из сетей был приведён в оригинале статьи.

Ответить
Развернуть ветку
Georgy Uvarov

Офигеть. Теперь текстуры можно будет аспкейлить бесконечно

Ответить
Развернуть ветку
Vlad Likh

Такие сетки уже используются в гейм деве, как для масштабирования, так и для создания бесшовных текстур.

Ответить
Развернуть ветку
2 комментария
Vlad Likh

Правильно ли я понимаю, что по сути своей (если очень упростить), это autoencoder/GAN, где изображение в низком разрешении является латентным вектором?

Ответить
Развернуть ветку
Sergey Ilyin

Если я правильно понял, то это второй шаг.
1/ докидываем шумов в изображение
2/ учим нейросеть выкидывать шумы
3/ После этого даём на вход интересующее нас изображение - смотрим как работает.
4/ если результат плохой - продолжаем учить нейронку

Ответить
Развернуть ветку
Vladimir Voloshin

Минус 160 шакалов из 10!

Ответить
Развернуть ветку
Іван Сахно

А есть ссылка на увеличение изображений? Или это только прототип или что-то ещё?

Ответить
Развернуть ветку
ITSOFT

Хорошая новость: теперь не надо будет передавать тяжелые картинки - достаточно изначально снизить качество снимка (или видео), передать облегченный вариант, а перед воспроизведением восстановить изображение почти до оригинала.

Ответить
Развернуть ветку
Alien Mars

ага, и после восстановления ремарку добавлять как на коробке сока из концентрата - "восстановленно гомогенизированно" ;)

Ответить
Развернуть ветку
1 комментарий
Вадим Осадчий

Где записаться?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Антон Солдышев

Пегий дудочник

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Artemy

Впечатляет!

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Николай Кузнецов

Нужна такая же натренированная ИИ нейросетка для реставрации музыки с грамафонных и патефонных записей. 

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Жоомарт Абдиразаков

как я жил без этого не знаю 

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Любовь Рогова

В основе технологии — диффузионные модели. Ммм.. необычно все так

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Карина Авдеева

21 век на дворе 

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Boris Ogorodnik
Ответить
Развернуть ветку
Network Cryptocurrency

Раньше это казалось какой-то фантастикой - сегодня реальность!!
Как прогресс то ускорился, каждый день что интересное!!!!

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Iikalfsdkj Doe

Пусть покажут оригинальные фото в высоком разрешении для сравнения.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
R D

Эта технология родилась не случайно. Она тесно связана с распознованием лиц. Что как известно сейчас активно внедряентся по всему миру в общественных местах.

Ответить
Развернуть ветку
Mikhail Bajenov

Есть кстати приложуха remini она тоже фиксит пиксельные изображения, но конечно не в 16 раз

Ответить
Развернуть ветку
Когда-то был

А я знаю для чего

Ответить
Развернуть ветку
Сергей Бурлаков

штраф тяперя придет 500 рублей, а не согласен увеличат, приглядишься 3000 будет

Ответить
Развернуть ветку
175 комментариев
Раскрывать всегда