Разработка
NTA

Как нейросети повышают качество изображений?

При хранении видеозаписи в высоком разрешении занимают много места. Рано или поздно возникает проблема его нехватки. Для решения — существует два варианта. Первый — уменьшать количество данных, удалив старые записи. Второй – увеличение памяти хранилища. С развитием современных IT-технологий стал возможен третий вариант, который Вы не раз видели в фильмах, когда спецслужбы, путём увеличения и обработки размытого объекта в углу экрана, распознавали, например, номер машины.

Сегодня таким вариантом являются нейронные сети. Пока что они работают не так идеально, но вполне достаточно для наших целей, а именно: при покадровом анализе событий.

Среди множества различных нейронных сетей, предназначенных для увеличения качества изображения, мы рассмотрим предобученную модель esrgan. Данная модель – одна из самых доступных для понимания и использования без особых знаний в этой области. Основана она на фреймворке машинного обучения PyTorch.

Скачав все необходимые файлы модели можно сразу перейти к преображению файлов с низким разрешением. Модель имеет множество разных настроек, одна из них — это степень интерполяции. Перед запуском модели необходимо сгенерировать файл настроек, на который будет ссылаться модель:

python net_interp.py 1.0

, где 1.0 – степень интерполяции от 0 до 1.

Кладём наши изображения в папку LR, запускаем модель следующей командой:

python test.py models/interp_10.pth

, где interp_10.pth – это файл настроек, сгенерированный на предыдущем шаге. И забираем улучшенное изображение в папке results.

В сети уже есть различные вариации файла настроек (по сути, это и есть сама модель), заточенные под разные виды изображений, к стандартным (помимо net_interp) относятся RRDB_esrgan и RRDB_PSNR. После скачивания их необходимо разместить в папке model и запустить, как и в случае со стандартной моделью, например:

python test.py models/RRDB_ESRGAN_x4.pth

Вот ещё несколько примеров обработки:

Разница особо заметна при увеличении отдельных фрагментов изображения, например:

Ещё один пример:

Увеличенные фрагменты:

Как видите, такой результат был получен без тонких настроек модели. При большем углублении в эту тему можно достигнуть не только восстановления качества изображения после его сжатия, но также улучшения качества видео изначально низкого качества до приемлемого уровня.

{ "author_name": "NTA", "author_type": "editor", "tags": [], "comments": 2, "likes": 4, "favorites": 10, "is_advertisement": false, "subsite_label": "dev", "id": 247476, "is_wide": true, "is_ugc": false, "date": "Tue, 18 May 2021 17:53:55 +0300", "is_special": false }
0
2 комментария
Популярные
По порядку
1

В случае последней картинки не сказать что качество улучшилось. Да подкрутили резкость, но при этом получили кучу артефактов. Нейронка несколько не так должна работать...
Если точнее то именно модель "esrgan" работает плохо и её надо обучать. Или же взять более подходящую обученную модель.

Ответить
0

Антон, да, действительно, улучшение заметно не на всех изображениях, особенно на примерах с изначально плохим качеством. Безусловно, доработка и дальнейшее обучение модели может улучшить результат.

Ответить

Комментарий удален

Читать все 2 комментария
Бекап всему голова: как сохранять, чтобы потом не восстанавливать
Независимая лаборатория не смогла найти тунец в сэндвиче с тунцом из Subway — NYT Статьи редакции

Журналисты отправили образец на независимую экспертизу, которая не смогла определить, мясо какой рыбы использовали в еде.

Кейс. Как увеличить конверсию приложения на 6,3% за счет графического ASO?

Показываем на примере приложения для занятий спортом, как с помощью качественной и продающей графики на странице в Google Play увеличить конверсию из просмотра в установку на 6,3%. Бонус: пять примеров конвертирующей графики.

В Москве запретят ходить в кафе без прививки, отрицательного теста на Covid-19 или антител: как это будет работать Статьи редакции

Проверять их будут по QR-кодам.

Delivery Club до сентября обнулит комиссию на заказы навынос для московских ресторанов Статьи редакции

Сервис хочет поддержать рестораны, которые смогут принимать только посетителей с прививкой, отрицательным тестом на Covid-19 или антителами.

Уроки 2020 года или как мы выросли в два раза быстрее рынка

Прошедший год для всех стал настоящим испытанием. Мы расскажем вам о том, как мы прошли эту полосу препятствий, помогли преодолеть ее нашим клиентам и сотрудникам и какие уроки вынесли из 2020.

Браузер Brave от сооснователя Mozilla запустил бета-версию собственного поисковика Статьи редакции

Он не отслеживает данные пользователей.

Главная страница
Как Яндекс забирает «хлеб» у рекламных агентств — алгоритмы Директа в B2B-тематике

Стоит ли использовать автостратегии Яндекс Директа при малом количестве конверсий, да еще в B2B-тематике? История про роботов, научившихся продавать подшипники. Кейс интернет-магазина PodTrade

Декаданс венчурного капитала: как взращиваются современные «единороги»

DoorDash предлагал клиентам пиццу за $16 из ресторана, где она стоит $24. Сервис проката самокатов Bird терял $27 на каждые заработанные $10. Примеров компаний, предоставляющих субсидируемый инвесторами сервис, масса: Uber, WeWork, Airbnb и другие. Весь их «дисрапшн» — продажа доллара за полцены.

ТМК и Агентство инноваций Москвы запустили акселерационную программу для московских стартапов

Трубная Металлургическая Компания (ТМК) и Агентство инноваций Москвы запустили акселерационную программу в рамках трека «Московского акселератора» PipeIndustryTech.

Комментарии
null