Как объединить искусство и технологии: кейс о цифровой платформе Воображаемого музея Михаила Шемякина

Как оцифровать сотни тысяч изображений, создать из них цифровой музей и внедрить умный поиск с использованием нейросетей? «Легко!» — сказали бы мы, если бы это и правда было легко. Но у нас получилось — теперь расскажем о нашем первом арт-тех проекте.

С чего всё началось

В 2021 году вместе с Фондом цифровой трансформации мирового культурного наследия мы начали работу по созданию Цифрового «Воображаемого музея» Михаила Шемякина.

Михаил Шемякин — художник и скульптор, исследователь культуры и истории. Воображаемый музей Михаила Шемякина — результат 60 лет его активной работы: исследований и аналитики. Анализ сотни тысяч изображении выявляет множественность параллелеи, взаимосвязей и сквозных тем и позволяет осмыслить историю культуры — от древности до наших днеи.

Это очень масштабное исследование — 3 млн репродукций и тысячи тем: «Лестница», «Закутанная фигура», «Рука», «Крик», «Смазанность образа» и другие.

«Воображаемый музей» — проект с удивительным научным и просветительским потенциалом. Искусствоведы и художники могут использовать материалы исследований в научных и художественных работах, учащиеся творческих вузов и школ — как учебный материал, а представители других индустрий — развивать навыки аналитики и синтеза, прокачивать насмотренность и чувство гармонии.

Михаил Шемякин, Шамуссо, 2023 год. Фото Степана Любимова
Михаил Шемякин, Шамуссо, 2023 год. Фото Степана Любимова

Михаил Шемякин как-то сказал, что в мире фактически нет серьёзных профессиональных книг по изобразительному искусству.

В любом магазине вы можете купить монографию о Леонардо Да Винчи. Но книг, к примеру, «Шар в искусстве», «Рука в изобразительном искусстве», «Образ смерти в графике и живописи» вам не найти… Не хватает обобщения, философского осмысления искусства.

Михаил Шемякин, художник и скульптор, исследователь культуры и истории

А в 2002 году в одном из эпизодов серии фильмов-лекций для телеканала «Культура» Михаил Шемякин произнёс ставшую пророческой фразу: «Всё это надо оцифровать! Надо этим заняться и перевести в электронный вид».

Однако воплотить идею об оцифровке Воображаемого музея удалось только спустя 20 лет.

Аналоговый архив и Цифровая платформа

Все эти годы исследование велось исключительно в аналоговом формате — Михаил Шемякин собственноручно вырезал иллюстрации из книг, газет и журналов по искусству, анализировал, выделял схожие мотивы, разрабатывал темы и в соответствии с авторским методом наклеивал их на листы плотного картона, которые отправлялись в тематические папки. Именно эта коллекция и хранится в замке Шамуссо во Франции.

Одно из помещений в замке Шамуссо
Одно из помещений в замке Шамуссо

Для нас этот проект — возможность прикоснуться к уникальному исследованию культуры визуального искусства, которое сделал Михаил Шемякин. Более того, мы получили удивительную возможность открыть это наследие миру. В мире практически нет подобных проектов в сфере искусства, особенно такого масштаба.Это действительно культурный проект мирового значения.

Илья Самофеев, содиректор red_mad_robot

Колоссальная значимость исследования была понятна изначально — ещё в 2019 году команда red_mad_robot ездила в замок Шамуссо, чтобы вживую увидеть наследие Шемякина, изучить процесс работы с исследованиями и обсудить возможности создания цифровой платформы. Потом началась пандемия, и работы пришлось отложить.

В конце 2021 года мы вернулись к проекту и начали воплощать его в жизнь. Для оцифровки архива была привлечена французская компания ARKHENUM, которая ранее оцифровывала коллекции Лувра и других крупнейших музеев. За шесть месяцев было отсканировано больше 700 папок «Воображаемого музея» и создан облачный архив из 200 тысяч изображений.

Интересно, что часть команды проекта находилась в России, часть была разбросана по миру, product owner был в сердце Франции в замке Шамуссо, а французская же компания ARKHENUM — в Бордо. Кроме того, в замке Шамуссо интернет был такой, каким он и мог быть в старинном замке, — мягко говоря, не самый быстрый.

Илай Гальцин, менеджер проектов red_mad_robot

После оцифровки архива команда приступила к созданию цифровой платформы, которая помогла бы сохранить исследование Шемякина, дополнить его цифровыми инструментами и открыть первым пользователям.

Как это устроено: дизайн

В начале работы мы получили фотографии авторских листов из исследований Шемякина, на которые были наклеены изображения в определённом порядке.

Исследовательский лист Михаила Шемякина
Исследовательский лист Михаила Шемякина

Это тёмное цветовое решение вкупе с его лаконичностью натолкнуло нас на развитие двух направлений дизайна.

Первое направление — простой, строгий, минималистичный стиль. Изображения — главное в интерфейсе. Дизайн графичный, будто бы на заднем плане, с очень ограниченной цветовой палитрой.

<p>Первое направление</p>

Первое направление

Второе направление — более академическое. Шрифт Antiqua с засечками для привлечения внимания, коричневая и золотисто-чёрная палитра.

<p>Второе направление</p>

Второе направление

Папки с исследовательскими листами Михаила Шемякина
Папки с исследовательскими листами Михаила Шемякина

Второе направление как раз пересекается с артефактами из реального мира. Это коробки с листами, подписи и почерк художника. И именно этот вариант мы воплотили в финальной концепции.

Дизайн-концепцию и прототип мы защищали перед самим Михаилом Шемякиным и его женой Сарой. Было очень волнительно, не каждый день показываешь свою работу мастеру с мировым именем! Но в итоге всё прошло хорошо, нам удалось найти баланс в дизайне и сделать лаконичные отсылки в цифровом интерфейсе к визуальным особенностям аналогового Воображаемого музея.

Анастасия Смирнова, креативный директор red_mad_robot

Весь интерфейс нацелен на работу с изображениями — было решено отказаться от левого бокового меню, чтобы оно не «съедало» основное пространство с ними. А ещё изображения в Воображаемом музее ни в коем случае нельзя обрезать. Поэтому мы встроили их во фрейм (контейнер) так, чтобы они всегда помещалось целиком, сохраняя пропорции. Это добавило динамики сетке страницы.

Как объединить искусство и технологии: кейс о цифровой платформе Воображаемого музея Михаила Шемякина

В верхней части страницы — переключение между модулями платформы, цифровым и аналоговым, и умный поиск по изображениям.

Если открыть изображение в Цифровом музее, то пользователь увидит информацию об этом артефакте и список листов Аналогового архива, в которых содержится это изображение.

И наоборот, при открытии листа в Аналоговом архиве в информации о нём есть список привязанных изображений.

Изображение
Изображение
Лист
Лист

Как это устроено: технологии

Основная сложность разработки платформы заключалась в том, что в архиве было много изображений — 200 тысяч. Некоторые файлы весили по 300 мегабайт.

Илья Трусов, ведущий backend-разработчик red_mad_robot

Умный поиск и нейросети

Мы хотели оптимизировать работу с большим количеством изображений и попытались «оцифровать» авторский метод Михаила Шемякина. Но нейросети оказались не настолько умны — хоть они отлично распознают объекты на изображениях, алгоритм пока не способен проводить тот анализ, который проводит сам художник. Именно это делает «Воображаемый музей» музеем Шемякина, а не кого-либо ещё.

Поэтому из нейросети было решено сделать «невидимого» помощника внутри поисковой системы. Задача нейросети — анализировать изображения ещё с одной точки зрения в дополнение к эталонному взгляду Шемякина, в фоновом режиме «награждать» их тегами с указанием объектов на изображении и за счёт этого расширять возможности поиска. Для этого мы выбрали уже существующую нейросеть CLIP.

CLIP (Contrastive Language-Image Pre-training) — нейросеть компании OpenAI, способная одновременно обрабатывать текст и изображения. Обучается связывать текстовые описания с соответствующими изображениями без явного обучения парам «изображение + текст».

CLIP использует два встроенных словаря: текстовый и визуальный — 32 тысячи уникальных слов и 4 тысячи уникальных объектов и концептов. Она анализирует входные данные и «понимает», насколько помещённое в неё изображение соотносится с понятиями из её же словаря.

К примеру, при загрузке в CLIP фотографии щенка австралийской овчарки нейросеть получает для неё вектор фиксированной длины. Поскольку она обучена одновременно на изображениях и тексте, она может получить вектор и для текста. Эти векторы можно сравнить, чтобы понять, насколько они друг другу соответствуют. CLIP перебирает термины из словаря, выбирает наиболее подходящие и «описывает», что находится на изображении. В нашем случае это тот самый «щенок австралийской овчарки».

Иван Тимофеев, руководитель разработки rdl by red_mad_robot

Точность CLIP может варьироваться, поэтому запросы пришлось разбить на три категории:

  • простая лексика,
  • искусствоведческая лексика,
  • специфическая лексика Михаила Шемякина.

Ещё мы использовали ruCLIP — ту же модель, но с русскоязычным словарём в основе.

Мы посчитали, что ruCLIP повысит качество выдачи, потому что темы, по которым Шемякин классифицировал изображения: «Закутанность», «Забинтованность», «Смазанность», «Мушинность», — не всегда корректно переводятся на английский. Мы дообучили нейросети на архивах Шемякина и онлайн-энциклопедии искусства.

Лилия Камалиева, бизнес-аналитик rdl by red_mad_robot

Выбрав нейросеть, стали думать, как приблизиться к аналитическому методу Михаила Шемякина. Нейросеть выделяет признаки изображения. Сможет ли она определить их темы? Для проверки гипотезы мы создали выборку изображений из 32 тем: «Закутанная фигура», «Грифоны», «Кубы», «Тени», «Смазанность образов» и другие. Для каждого из них нейросеть сгенерировала набор тегов.

<p>Пример верного соотнесения изображения с темой</p>

Пример верного соотнесения изображения с темой

Параллельно для кластеризации мы составили выборку из 4 тысяч изображений из коллекции художника — и вот что получилось:

<p>Удачный пример: часть обнаруженной группы, соответствующей теме «Круг, истоки»</p>

Удачный пример: часть обнаруженной группы, соответствующей теме «Круг, истоки»

Во всех случаях выделялись только визуально похожие изображения. И ни один из применённых алгоритмов не смог воспроизвести группировку по темам самого Шемякина из-за сложности определения признаков, по которым художник объединяет изображения в темы.

Как работает платформа

Важный элемент Цифрового музея — поиск среди огромного архива визуальных исследований. Для удобства пользователей на платформе есть два вида поиска: атрибутивный и машинный (на основе нейросети). Первый находит изображения по метаданным, а второй, кроме поиска по автору и дате создания, умеет искать картины на основе их содержания и смысла.

Например, нужно найти «винтовую красную лестницу». Атрибутивный поиск не справится с задачей, если такого описания нет в метаданных. Машинный же поиск подберёт изображения не просто с лестницами, а именно с красными винтовыми.

Более того, в рамках поиска нейросеть выдаёт пользователю список тегов, которые могут подтолкнуть исследователей к поиску новых смысловых связей в контексте метода Михаила Шемякина. Этот список можно брать за основу поиска и:

  • находить изображения с такими же тегами и выделять их в отдельную тематику;
  • сфокусироваться на ключевых особенностях и идеях, которые могут быть связаны с конкретной темой;
  • развивать рекомендательную систему — она сужает круг интересующих тем, выдавая релевантные результаты на основе анализа.
Как объединить искусство и технологии: кейс о цифровой платформе Воображаемого музея Михаила Шемякина

Например, на этом изображении нейросеть увидела теги «пограничник», «сапёр», «плотник», «защитник», «плот», «трап», «подъём», «железнодорожный», «лестничный» и «лестница». Это даёт сотрудникам исследовательских проектов пространство для новых трактовок и экспериментов с «подсказками» от нейросети, при этом демонстрирует, что нейросеть пока не смогла воспроизвести аналитический метод художника.

Лестница в искусстве: выставка Шемякина в Третьяковской галерее

Не менее важной частью проекта стала демонстрация цифрового музея в рамках выставки в Новой Третьяковке на Крымском валу. Нашей команде предстояло организовать демо-доступ к цифровой платформе, чтобы каждый желающий смог окунуться в мир «Воображаемого музея» и увидеть его глубину прямо на выставке. В преддверии запуска мы также создали лендинг, в котором можно чуть больше узнать о цифровом музее и методе Михаила Шемякина.

Кристина Еремеева, маркетинг-лид red_mad_robot

Цель выставки — показать «Воображаемый музей» на стыке современных информационных технологий и классических методов анализа произведений искусства.

В экспозиции — 54 произведения разных авторов из коллекции Третьяковской галереи на тему лестницы. Подбор и комбинация произведений позволили зрителю увидеть работу «Воображаемого музея»: как поиск на заданную тему помогает обнаружить неожиданные артефакты в наследии Михаила Ларионова, Бориса Кустодиева, Василия Поленова и других известных авторов и как при анализе мотивов выявляются новые архетипы и темы. Всё это стало возможным благодаря специальным тач-панелям с демо-версией цифровой платформы «Воображаемого музея», которые мы установили на экспозиции.

Что в итоге

«Воображаемый музей Михаила Шемякина» — неисчерпаемый ресурс для создания новых выставок, книг и образовательных программ. Он интересен и исследователям, и практикам (художникам и дизайнерам), и широкой аудитории — всем, кто хочет «тренировать глаз» и развивать свои аналитические способности.

Благодаря цифровой платформе «Воображаемый музей» становится доступным из любой части света, а не только в аналоговом формате во французском замке Шамуссо. Это новый виток развития проекта, над которым Михаил Шемякин трудился 60 лет, — теперь «Воображаемый музей» может активно расширяться и развиваться в совершенно новом формате.

Алексей Абакумов, руководитель «Цифрового Воображаемого музея», искусствовед

Какие ещё наши материалы стоит почитать, послушать и посмотреть про «Воображаемый музей»:

  1. Воображаемый музей Михаила Шемякина / лендинг проекта.
  2. Алексей Абакумов и Илья Самофеев — о технологиях в искусстве и Цифровом Воображаемом музее Михаила Шемякина / подкаст «Культурная среда».
  3. Книга «Воображаемый музей Михаила Шемякина. 60 лет исследований» / Центр Михаила Шемякина.
  4. Любовь, музеи и роботы: как уживаются вместе искусственный интеллект и искусство / Правила жизни.
  5. Визуализация Набокова и NFT-дом: 10 музейных проектов на стыке искусства и технологий / Forbes.
  6. Каталог «Лестница в искусстве» / Центр Михаила Шемякина.
  7. Буква, слово, текст в искусстве / Центр Михаила Шемякина.
  8. Пеленание, бинтование, укутывание в искусстве / Центр Михаила Шемякина.
  9. Воображаемый музей Михаила Шемякина. 60 лет исследовании / YouTube.

Над материалом работали:

  • текст — Ксения Белозёрская,
  • редактура — Виталий Балашов,
  • маркетинг-лид — Кристина Еремеева,
  • иллюстрации — Марина Черникова.

Чтобы ничего не пропустить, следи за развитием цифры вместе с нами:

Да пребудет с тобой сила роботов! 🤖

2020
1 комментарий

Была на выставке в Третьяковке – труд Михаила впечатляет и вызывает огромное восхищение!

Ответить