StyleGAN2: нейросеть для генерации лиц людей

Исследования в области генеративно-состязательных сетей, базирующихся на стиле, приводят к выдающимся результатам в задачах генерации изображений.

Недавно команда исследователей из компании Nvidia представила обновленную версию своей нейросети StyleGAN, известную как StyleGAN2, которая продемонстрировала значительные улучшения в генерации изображений с более высоким уровнем реализма и сниженным количеством визуальных артефактов.

Одной из ключевых обновленных характеристик StyleGAN2 является пересмотренная архитектура модели и методы обучения, которые направлены на минимизацию появления артефактов на создаваемых изображениях.

Артефакты представляют собой нежелательные элементы на изображении, снижающие его степень реализма. Примером артефакта может быть размытая часть изображения.

Специалисты внесли несколько изменений в StyleGAN2, включая модифицированную нормализацию генератора, регуляризацию генератора и использование прогрессивного увеличения разрешения изображений.

Внедрение регуляризатора в генератор решает проблему качества изображений и позволяет идентифицировать изображения, созданные конкретной нейросетью.

Архитектура StyleGAN, которая ранее считалась state-of-the-art моделью в области генерации изображений, имеет свои особенности. Одной из ключевых особенностей этой модели является структура генератора.

Генератор принимает промежуточное представление входного объекта и проходит через слои адаптивной инстансной нормализации (AdaIN).

Несмотря на достижение высоких результатов по сравнению с другими подходами, оригинальная модель StyleGAN все же порождает изображения с заметными артефактами.

StyleGAN2 внес значительные изменения в генератор, с целью оптимизации его работы. В новой архитектуре были удалены излишние операции в начале процесса генерации, а также перенесено суммирование bias термов за пределы блока стиля. Эти изменения помогли улучшить эффективность генератора.

Одно из важных обновлений заключается в замене instance нормализации (AdaIN) на операцию "демодуляции". Демодуляция применяется к весам каждого сверточного слоя в генераторе.

Эта операция позволяет более точно регулировать взаимосвязь между различными слоями и улучшает процесс генерации изображений.

Исследователи провели сравнительный анализ качества сгенерированных изображений, используя известные метрики - Frechet inception distance (FID) и Precision and Recall (P&R).

Результаты демонстрируют, что внесенные изменения (B-F) в архитектуру StyleGAN значительно улучшают качество сгенерированных изображений.

Это подтверждается наблюдаемым приростом в точности и полноте оценок.