Google представила технологию, которая повышает разрешение изображений до 16 раз без потери качества Статьи редакции
В основе технологии — диффузионные модели.
В блоге Google AI, посвящённом исследованиям и разработкам в области искусственного интеллекта, обнаружили демонстрацию технологии масштабирования изображений на базе диффузионных моделей.
Специалисты внутренней команды Brain Team представили два связанных алгоритма, которые генерируют фотографии высокой чёткости без потери качества.
Первый из них называется SR3 (апскейлинг посредством повторного уточнения). На вход подаётся картинка с низким разрешением, и нейросеть пытается увеличить её, добавляя шум.
Модель обучается методам искажения изображения, а затем поворачивает весь процесс вспять, постепенно удаляя шум для достижения заявленного результата.
Инженеры обнаружили, что SR3 превосходит существующие генеративные алгоритмы, такие как PULSE и FSRGAN, особенно при работе с портретами и фотографиями природы.
В компании не остановились на достигнутом и разработали ещё одну диффузионную модель под названием CDM. На этот раз нейросеть обучили миллионам изображений высокого разрешения из базы ImageNet.
Алгоритм использует каскадный подход и увеличивает фотографии в два этапа: с разрешения 32×32 -> 64×64 -> 256×256 (в 8 раз), либо с 64×64 -> 256×256 -> 1024×1024 (в 16 раз).
Google опубликовала примеры работы алгоритмов. На некоторых изображениях заметны графические артефакты, но в целом результат действительно удивляет. О коммерческом распространении технологии данных пока нет.
Ждала комментарии на эту тему. Ваш превзошёл мои лучшие ожидания в 16 раз.
Учитывая, что нейросеть "дорисовывает" из своего, если можно так сказать, банка "воображения", основанного на предыдущем опыте, там при каждом "увеличении" будут разные номера автомобиля и разные картинки в отражении :)
Комментарий недоступен
Теперь уже не посмеёшься!
Вот так технологии убивают мемы 🤣
От этого комментария на моих глазах появился фильтр Ностальгическая слеза, и я увидел в логотипе VC лайк с мизинцем с логотипа «Цукерберг позвонит». Применил этот фильтр ещё раз — лицо Андрея Загоруйко. После третьего наложения я уже скроллил эту страницу, видя ленту ЖЖ unab0mber 😭
Когда-то это было круто, потом мы выросли и поняли, что это голивудский пистеш…
Теперь я не знаю что думать 🤣🤣🤣
В Голливуде ванги сидят по ходу 🤣🤙
Ну неужели теперь можно будет улучшать качество фото нло, когда фоткают на мыльницу !
Ща только надо датасет с миллионами нло найти только
После изобретения тиктока НЛО исчезли.
Не уверен, что в ImageNet, на котором модель обучена, были летающие тарелки. Хотя...
Тогда вся магия испарится
Full HD
Комментарий недоступен
вызов принят
сколько это по шкале ебучих шакалов?
Трамп?
Не мем из сериала Дальнобойщики про "Ёкарный бабай"?)
Pied Piper?
Там разве не обратный алгоритм был? Вроде он там алгоритм сжатия без потерь придумал
Ляяяя, так спешил в комменты написать ))
Это автор?
.
Сильно. Теперь есть чем чекать аватарки с форумов
Так технология улучшает низкокачественные фотографии (как в чудо-фильмах, где ночное фото с уличной камеры у банкомата увеличивают в 415 раз и в отражении в зрачке видят лицо убийцы и уверенно идентифицируют его) или генерирует, т.е. додумывает что "это низкокачественное фото могло бы выглядеть вот так"?
Додумывает, конечно, откуда он по-вашему должна брать информацию, которой нет на фото?)
Додумывает, беря за основу модели, на которых она была обучена.
То есть если у человека на щеке родимое пятно, которое полностью пропало на маленьком разрешении, на большом разрешении оно не появится.
Но зато могут появиться родимые пятна там, где их не было.
Ждём нейросеть, которая по случайному набору букв восстанавливает смысл текста!
А потом - натравливаем её на местные комменты))
На выступления президента на новый год.
Вроде был такой Олег
А тут шо комменты живые люди пишут?
Комментарий недоступен
очка
Комментарий недоступен
Даже если учесть что это пока прототип - технология всё равно нереально крутая. По идее такую штуку надо встраивать в камеры смартфонов что бы делать качество фоток в миллион раз лучше, ато за последние 10 лет в смартфонах кроме интерполяции ничего не придумали особо, а цифры пикселей растут как дрожжах...
И получить по итогу то, что видео/фото со смартфона нельзя будет предъявить в суде как доказательство?
Так если оптика мелкая и пластиковая - сколько не отращивай цифры пикселей, будет то же самое мыло. Только ещё и зернистое - потому что чем меньше пиксель - тем шумнее итоговый результат.
Зато маркетинг - покупайте наших слонов - у них больше мегапикселей и они тоньше.
Pixelshift погугли, в некоторых проф камерах Sony уже есть. Бешенные разрешения за счет мультиэкспозиции со сдвигом матрицы. Нужно ли это кому-то у смартфонах, большой вопрос.
Так ведь похожую тему и вставляют в смартфоны. Просто не на столько крутое и мощное.
Когда "Зеленый слоник" в 4К?
Скоро на экранах всего мира: "я угадаю тебя по одному пикселю".
А как воспользоваться технологией? Она общедоступна?
наконец то на второй странице появился дельный вопрос, который меня тоже интересует !
если вам интересно, то какие то колдуны из китая сделали еще пару лет назад похожую систему, которая явно использует AI
Она улучшает очень круто фотографии, и иногда разрешение тоже увеличивает. Называется remini и есть во всех апп сторах
Не без проблем работает конечно, но результаты иногда офигительные
https://play.google.com/store/apps/details?id=com.bigwinepot.nwdn.international&hl=en_CA&gl=US
Комментарий недоступен
О коммерческом распространении технологии данных пока нет.
А я всё жду когда появится инструмент, которому можно было бы скормить например несколько фото одного человека/места, а он на основе этих фото уже увеличивал бы детализацию. Иначе нередко на выходе получается уже немного другое лицо.
в любом топовом смарте сейчас такое
Google: become human
Backend
Ну проверка тут простая, как с переводом на другой язык. Сначала ухудшаем изображение, потом улучшаем его супералгоритмом, потом сравниваем. Пусть так покажут, тогда будет что обсуждать.
Имхо при недостатке информации её взять негде, будь ты хоть трижды нейросеть. Вот из видео плохого качества сделать изображение более хорошего качества теоретически возможно.
Конечно она не восстановит никакие уникальные признаки вашего изображения. Сеть будет пытаться «дорисовать» детали на базе датасета, на котором она обучалась.
Здесь вопрос нужно ставить иначе: «насколько важны для вас эти уникальные признаки?». Если не важны, подобный подход вполне себе уместен.
Так и практически возможно. Коммерческие продукты на рынке уже несколько лет существуют
Про видео - DLSS. Уже в реалтайме улучшает качество изображения так, что лучше оригинала выходит.
А в чём новинка? На https://letsenhance.io/ уже давно такое делать же можно.
Я вам больше скажу, я эту штуку в продукте активно использовал, а у нас было ни много ни мало пол-ярда изображений, а на печать надо было выводить с высоким dpi, а пользователи грузили чопопало. Все классно, но это сторонний сервис, который к себе на машинку не развернешь для скорости, а летсэнчанс иногда мог магию делать по минуте и падал по таймауту. Вот отсюда гугловое решение с возможностью купить лицензию и пользоваться вышло бы и дешевле и производительнее. Так что вот вам и коммерческое использование сразу
В принципиально другом подходе и на порядок лучшем результате.
Комментарий недоступен
Без потери качества звука
и без ГМО
Чудес не бывает. Очки у чувака в первом видео частично пропали, а так норм.
Не, ну порнушку увеличить норм.
Где видео?
Неправильная картинка. Чёткие пиксели. Мелких шумов нет. Обычно, вокруг текста оьразуется
Ну я так понял не повышает разрешение, а дорисовывает изображение
Ага.
128 Кбит MP3 тоже некоторые считают за качество и не замечают разницы.
Продукты Topaz по увеличению разрешения фото и видео, с AI.
Они не совсем так работают.
У Topaz нет генеративных моделей, они работают как сверточные модели. В статье же говорится именно про работу генеративных сетей. Результат получается на порядок интереснее и чище. Хотя и со значительной долей "фантазии" со стороны алгоритма.
Показали бы 3 картинки: исходник, в низком разрешение и output.
Было бы интересно сравнить с исходником, насколько оно точно генерирует.
Референс для одной из сетей был приведён в оригинале статьи.
Офигеть. Теперь текстуры можно будет аспкейлить бесконечно
Такие сетки уже используются в гейм деве, как для масштабирования, так и для создания бесшовных текстур.
Правильно ли я понимаю, что по сути своей (если очень упростить), это autoencoder/GAN, где изображение в низком разрешении является латентным вектором?
Если я правильно понял, то это второй шаг.
1/ докидываем шумов в изображение
2/ учим нейросеть выкидывать шумы
3/ После этого даём на вход интересующее нас изображение - смотрим как работает.
4/ если результат плохой - продолжаем учить нейронку
Минус 160 шакалов из 10!
А есть ссылка на увеличение изображений? Или это только прототип или что-то ещё?
Хорошая новость: теперь не надо будет передавать тяжелые картинки - достаточно изначально снизить качество снимка (или видео), передать облегченный вариант, а перед воспроизведением восстановить изображение почти до оригинала.
ага, и после восстановления ремарку добавлять как на коробке сока из концентрата - "восстановленно гомогенизированно" ;)
Где записаться?
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Пегий дудочник
Комментарий удален модератором
Впечатляет!
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Нужна такая же натренированная ИИ нейросетка для реставрации музыки с грамафонных и патефонных записей.
Комментарий удален модератором
Комментарий удален модератором
как я жил без этого не знаю
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
В основе технологии — диффузионные модели. Ммм.. необычно все так
Комментарий удален модератором
21 век на дворе
Комментарий удален модератором
Раньше это казалось какой-то фантастикой - сегодня реальность!!
Как прогресс то ускорился, каждый день что интересное!!!!
Комментарий удален модератором
Пусть покажут оригинальные фото в высоком разрешении для сравнения.
Комментарий удален модератором
Эта технология родилась не случайно. Она тесно связана с распознованием лиц. Что как известно сейчас активно внедряентся по всему миру в общественных местах.
Есть кстати приложуха remini она тоже фиксит пиксельные изображения, но конечно не в 16 раз
А я знаю для чего
штраф тяперя придет 500 рублей, а не согласен увеличат, приглядишься 3000 будет