Создание креативов, подготовка субтитров и озвучивание текстов: какие задачи медиакомпании передают ИИ

Искусственный интеллект (ИИ) помог телеканалу транскрибировать 77 тысяч часов передач, а стартапу — озвучить более 800 книг. Об этом и о том, как ещё в медиаиндустрии используют нейросети в работе с текстами, изображениями и звуком, рассказывает Тимур Баязитов, директор по Media & Entertainment Yandex Cloud.

В 2024 году общая стоимость мирового рынка услуг, связанных с искусственным интеллектом в маркетинге, может достичь $36 млрд. В России более 30% компаний планируют внедрить ИИ в ближайшие три года, в первую очередь для автоматизации рутинных задач. Медиакомпании уже используют нейросети для создания рекламных плакатов и видеороликов, подготовки субтитров, написания коротких постов и новостей в соцсети. В этой статье рассмотрим, как именно это устроено.

Сервисы на базе ИИ помогают не только генерировать графические материалы, но и оптимизировать работу с готовыми изображениями и видеоконтентом. Самые распространённые сценарии использования нейросетей в этой области — транскрибирование и суммаризация роликов, создание субтитров для видео, анализ и редактирование медиафайлов.

Транскрибирование видео

Переводить видео в текст помогают технологии распознавания и синтеза речи на базе машинного обучения.

Сценариев применения SpeechKit множество. Например, в 2023 году сервис помог телекомпании «ТВ Центр» оцифровать документальный архив, накопленный ещё с советских времён. Компания транскрибировала более 77 тысяч часов передач, сериалов и документальных фильмов.

«ТВ Центр» транскрибировал все аудиодорожки в текст и загрузил материалы в базу данных — теперь любой фильм можно найти в архиве буквально за минуту.

Подготовка субтитров

Стриминговые платформы, онлайн-кинотеатры, телеканалы и видеоблогеры всё чаще решают с помощью ИИ другую трудоёмкую задачу — субтитрование. Нейронные сети помогают в несколько раз ускорить преобразование звуков в текст за счёт быстрого выполнения всей первичной работы. Такие возможности ИИ интересны не только владельцам веб-ресурсов или авторам видеороликов. Например, Яндекс Браузер с помощью встроенной нейросети генерирует субтитры для видео на любых сайтах: от видеохостингов и социальных сетей до страниц телеканалов и загруженных в облачные хранилища роликов.

Редактирование и анализ видео

Технологии ИИ помогают автоматически улучшать качество видеоматериалов, удаляя шумы и выделяя ключевые моменты. Например, такие платформы, как Descript, специализируются на создании видеоконтента на базе искусственного интеллекта. Сервис помогает креативным командам во много раз ускорить создание и обработку видео с помощью интегрированной нейросети.

Также медиакомпании уже используют аналитические системы, которые выполняют распознавание объектов на видео и тегирование на основе алгоритмов машинного обучения (ML) и компьютерного зрения (CV). Эти алгоритмы помогают быстро выбирать нужные фразы и коды из массива контента и создавать из них проморолики для шоу и сериалов хронометражем от 30 до 60 секунд. Например, развлекательные телеканалы Газпром-Медиа Холдинга (ГПМХ) используют систему видеоаналитики Video Tag System (VTS), которая сокращает время на подбор материалов для ролика в 20 раз.

Также система VTS автоматически модерирует контент радиостанций и телеканалов ГПМХ. Это позволяет в 25 раз ускорить модерацию и снизить риски отзыва лицензии из-за несоответствия контента требованиям политики телеканала или законодательства.

Генерация изображений

Конечно, генеративные модели могут не только анализировать уже готовый контент, но и создавать новый.

В апреле 2024 года мы открыли доступ к тестированию Yandex AI Rendering Technology (YandexART) — генеративной модели, которая лежит в основе приложения Шедеврум. С помощью YandexART компании могут создавать изображения для рекламных объявлений и социальных сетей, иллюстрации для книг и дизайн‑макетов. Кроме того, модель можно использовать через API, чтобы встроить генерацию картинок в сервисы и веб‑приложения.

Несколько компаний уже испытали нейросеть в режиме закрытого превью. Например, одна из крупных торговых сетей тестировала YandexART для создания уникального дизайна подарочных карт, чтобы клиенты могли ввести текстовый запрос и самостоятельно выбрать оформление для сертификата.

Цифровой продукт объединяет несколько моделей машинного обучения, в том числе YandexGPT для генерации текста, а также эмбеддинги — векторные представления слов — для задач семантического поиска.

Генеративные модели в Foundation Models можно использовать как самостоятельно, так и для кросс‑продуктовых сценариев: текст для рекламной кампании создать с помощью YandexGPT, а иллюстрации — в YandexART.

Создание дипфейков

В кино- и видеопродакшене активно применяют технологию дипфейков, которая может создавать цифровые модели актёров или менять их внешность с помощью ИИ. Например, технологию используют, если произойдёт несчастье с человеком, который играет главную роль в ещё снимающемся кино. Так было во время съёмок «Форсажа 7» 2015 года, когда вместо Пола Уокера роль доигрывал его кузен, которому заменили лицо с помощью дипфейков.

Также в Голливуде становится популярна цифровая подтяжка лиц актёров на экране. Так омолодили 80-летнего Харрисона Форда для фильма «Индиана Джонс и колесо судьбы».

Представители киноиндустрии ожидают, что ИИ существенно упростит процесс цифрового омоложения — вместо многих месяцев на это можно будет тратить всего несколько часов.

В марте 2023 года СМИ сообщали, что российские книжные сервисы и издательства активно применяют технологии ИИ для озвучивания книг. При этом ещё в 2021 году онлайн-платформа Speechki с помощью Yandex SpeechKit озвучила более 800 русскоязычных художественных и деловых книг. Компания совместила собственные разработки с технологиями синтеза речи. Так удалось в 10 раз сократить время создания аудиокниги на русском языке по сравнению с реализацией проекта в студии звукозаписи с живым диктором.

Другой сценарий использования технологий синтеза речи — создание виртуальных дикторов. Например, можно создать уникальный голос компании и улучшить пользовательский опыт, используя роботов в новых сценариях.

Протестировать, насколько полученный голос нравится аудитории, можно с помощью Yandex SpeechSense. Сервис проведёт глубокий анализ каналов коммуникации — как голосовых, так и текстовых.

С помощью современных моделей можно быстро сгенерировать несложный маркетинговый пост или текст для личного использования, например сказку для ребёнка или меню на неделю под нужный тип питания и тренировок. Но это далеко не все возможности нейросетей: к примеру, третье поколение генеративной языковой модели Яндекса оптимизировано для решения сложных текстовых задач бизнеса.

Это помогает компаниям быстрее создавать новостные заметки и статьи, анализировать и придумывать идеи для соцсетей, генерировать карточки товаров и тексты для информационных рассылок.

Вот популярные сценарии использования ИИ при работе с текстами.

Написание текстов для СМИ и соцсетей

Генеративный ИИ может быстро создавать не только стандартные материалы, вроде биржевых сводок, прогноза погоды и спортивных отчётов, но и любые новостные заметки.

Ещё в 2016 году газета The Washington Post начала использовать технологию ИИ Heliograf, чтобы писать короткие новости об Олимпиаде в Рио-де-Жанейро. В результате робот создал около 300 заметок о спортивном мероприятии, а позже генерировал материалы о разных общественно-политических событиях.

Другой пример — кейс агентства Reuters. В 2023 году медиакомпания завершила двухлетнюю программу по трансформации из контент-провайдера в технологическую корпорацию, «ориентированную на контент». Продолжая эту стратегию, в марте 2024-го глава агентства Стив Хаскер заявил о планах потратить $8 млрд на инвестиции в ИИ.

В социальных сетях проще с информационной политикой, чем в больших медиа, поэтому у SMM-специалистов больше вариантов для применения ИИ в своей работе. С помощью нейросетей можно создавать стратегию ведения соцсетей, разрабатывать контент-план, сегментировать целевую аудиторию, придумывать рубрикаторы, писать посты и взаимодействовать с читателями. Кроме того, ML-модели умеют перерабатывать и оптимизировать существующий контент под формат социальных сетей.

Например, вы ведёте блог о путешествиях и хотите сгенерировать подпись к фотографии из поездки в Париж. Для этого нужно сформулировать запрос, или промт, для нейросети, добавить в него подробную информацию о целевой аудитории блога и предпочтительном тоне, а также указать площадку размещения.

Ещё искусственный интеллект может планировать публикации в самое оптимальное для этого время, максимизируя охват и взаимодействие, а после этого — анализировать поведение конкретных подписчиков и менять контент-стратегию на основе уже полученных данных. Аналитика ИИ в режиме realtime освобождает SMM-специалистов от ресурсоёмких задач и помогает им быстрее ориентироваться в ситуативных коммуникациях, усиливая влияние и общественный интерес к своим информационным каналам. Потенциал применения ИИ в SMM настолько большой, что в 2023 году в России даже появилось SMM-агентство «Реклама, человек и нейросеть», в котором до 90% работы делает ИИ.

Написание креативных текстов и книг

Справляется ли ИИ с креативными текстами, может ли придумать рассказ, стих или сценарий? Однозначно да: около 45% авторов используют ИИ в своей работе. При этом развитие генеративных моделей сейчас настолько высоко, что обнаружить применение ИИ в тексте практически невозможно, особенно при условии, что автор пишет глубокие и эффективные промты, использует генеративные модели для соавторства и редактирует созданные вместе материалы.

В 2022 году американский дизайнер из Сан-Франциско Аммар Реши ради эксперимента предложил нейросети ChatGPT сгенерировать книгу по его описанию. На создание ушло около двух часов, при этом не потребовалось никаких вложений. Alice and Sparkle получила негативные отзывы и среднюю оценку в 1 звезду. В первую очередь люди возмущались, что автор не приложил усилий, чтобы создать произведение.

Более удачным оказался рассказ о метавселенной, написанный в 2022 году профессором пекинского университета Цинхуа. Научно-фантастическая новелла была создана искусственным интеллектом на основе черновика из 43 тысяч символов за три часа. Работа была удостоена национальной премии в области научной фантастики.

Медиакомпании одними из первых начали использовать технологии ИИ для решения задач по созданию, обработке и анализу контента. Нейросети позволяют оптимизировать и автоматизировать эти процессы, а также улучшить пользовательский опыт.

С помощью ИИ можно переводить видео в текст, готовить субтитры, а также генерировать, редактировать и анализировать изображения и ролики. В работе со звуком технологии применяют для озвучивания текстовых материалов и создания виртуальных дикторов, а в работе с текстами — для решения задач СМИ и написания креативных материалов.

Подписывайтесь на Telegram-канал Yandex Cloud, чтобы узнавать ещё больше новостей и историй о команде.

Другие истории наших партнёров и клиентов, которые активно читают наши подписчики: