Как нейросети справляются с оживлением классического искусства: эксперимент с картиной Шишкина

Мои коллеги, ведущие Telegram-канал, недавно провели эксперимент с нейросетями. Они решили проверить, как современные ИИ-алгоритмы справятся с задачей оживления знаменитой картины Ивана Шишкина «Утро в сосновом лесу». Эксперимент показался настолько интересным, что я решил подробно рассмотреть его результаты и поделиться своими выводами.

Для эксперимента были выбраны 5 нейросетей, которые создают видео по картинке: Stable Diffusion, Hailuo AI, Runway, Genmo, Pika. Промт для всех сетей был одинаковым: «The trees shake their branches a little, the bears move» — минималистичный запрос, акцентирующий внимание на оживлении медведей и деревьев.

Результаты работы нейросетей получились весьма разными: от реалистичных до откровенно сюрреалистичных.

Runway показала лучший результат. Хотя потребовалось четыре попытки, чтобы распознать всех четырёх медведей, итоговая анимация впечатлила. Медведи двигались практически плавно, создалось ощущение динамики.

Hailuo AI в целом передала атмосферу картины, но при этом добавила немного сюрреализма. Вместо четырёх медведей появилось пять, а сами фигуры получились немного размытыми.

Pika сосредоточилась на двух медведях, оставив остальных неподвижными. Однако один из медведей внезапно вырос, а другой зачем-то решил покусать соседа. Итог: динамика есть, но точности меньше.

Genmo подошёл к задаче творчески и добавил в лес дополнительных медведей, изменив стиль картины. Вместо чёткого Шишкина получилось что-то, напоминающее сюрреализм.

Stable Diffusion подошёл к задаче с неожиданной простотой. Он практически «заморозил» сцену, оставив медведей неподвижными и упростив стиль картины.

Эксперимент показал, что оживление сложных сцен, таких как «Утро в сосновом лесу», остаётся непростой задачей для нейросетей. Тем не менее, такие инструменты, как Runway и Hailuo AI, демонстрируют, что с должной доработкой они могут создавать достойные результаты.

Если вы занимаетесь креативными проектами, нейросети предоставляют бесконечные возможности для экспериментов: от анимации классики до переосмысления искусства. Главное — выбрать инструмент, подходящий под вашу задачу, и не бояться пробовать.