HeyGen на двоих: Что произойдет, если добавить двух человек в AI-аватар?
Привет, меня зовут Гари Азат - эксперт по цифровым аватарам. В этой экспериментальной статье мы решили немного пошалить и ответить в первую очередь для себя на три вопроса:
1. Может ли ai-аватар в одном кадре содержать больше одного человека?
2. Что будет, если оба человека будут говорить в рамках одного кадра?
3. Можно ли в рамках одного аккаунта HeyGen генерировать аватары с разными людьми?
Итак, поехали!
Вопрос 1: Может ли ai-аватар в одном кадре содержать больше одного человека?
а) Мы сначала отсняли видеоматериал для загрузки в нейросеть. В главной роли был наш лаборант Антон. Содержание его речи не имеет большого значения. И именно этот файл мы позже загрузили в нейросеть:
б) Далее в HeyGen мы добавили текст и нажали кнопку “вывести”. Вот что у нас получилось:
Ответ:
Да, может. Пока, если честно, я слабо представляю, в каких случаях может понадобиться такая комбинация (напишите в комментариях, кстати, если у вас есть идеи), но в первую очередь мы ставили перед собой задачу просто протестировать, как поведёт себя нейросеть.
Вопрос 2: Что будет, если оба человека будут говорить в рамках одного кадра?
Во втором эксперименте мы решили попробовать оба произносить слова. Конечно, мы не стали превращать это в бардак, когда два человека говорят одновременно. Мы говорили по очереди.
Лайфхак! Когда вы снимаете свою видеоматрицу для нейросети, иногда люди не знают, что сказать, и в этот момент впадают в ступор, произнося слова с выражением, как будто им в одно место засунули банан. Есть выход! Вы можете просто посчитать, например, от 1 до 200. Тогда вам не придётся особо напрягать мозг, и вы сможете больше уделить внимание своему настроению, выражению лица и интонации.
а) Вот так выглядел видеофайл, который мы скормили нейросети:
б) Далее в HeyGen мы также написали текст и нажали кнопку "вывести". Вот что у нас получилось:
Ответ:
Да, с технической точки зрения можно загрузить видеофайл в нейросеть, где два человека разговаривают. Однако в итоге нейросеть распознала только одного человека. В данном случае это был я (в полосатой майке). И если до 23-й секунды цифровой клон Антона сдерживался, то после этого он пошёл в разнос и начал что-то вещать, открывая рот.
Второй человек стал как бы декорацией и просто открывал рот. По какому принципу нейросеть выбрала именно меня, мы не поняли.
Конечно, было бы здорово, если бы в будущем можно было создавать диалоги с аватарами в рамках одного кадра. Кстати, на одном из еженедельных вебинаров от HeyGen я слышал от их разработчиков, что они работают над этим. Но когда именно они внедрят этот функционал, они не сказали. Говорят, ждите.
Вопрос 3: Можно ли в одном аккаунте HeyGen создавать аватары с разными людьми?
Давайте не будем вас долго томить - да, можно. Как вы наверняка уже поняли, оба этих видео были сделаны в рамках одного аккаунта. Однако для каждого человека нужно проходить отдельную верификацию и давать соответствующие согласия (сделать это нужно только один раз).
Для разнообразия посмотрите ещё одно видео. Оно записано просто с веб-камеры и с ужасным звуком, но это не так важно сейчас:
Но тут надо быть, конечно, осторожным. Для таких случаев лучше всего использовать тариф "Команда", где можно давать разного уровня права доступа к аватарам и папкам проекта внутри сервиса HeyGen. А также не работать с дебилами и не вести себя неподобающим образом.
Как создавать реалистичных AI-аватаров?
Если вы хотите научиться создавать действительно реалистичных цифровых двойников и зарабатывать на этом, то я подготовил для вас три бесплатных урока.
Посмотрев эти уроки, вы узнаете, какие три программы использую я для создания цифровых двойников и с какими проблемами сталкиваются люди при создании.
В моём Telegram-канале ещё больше тестов и экспериментов с созданием и заработком на цифровых двойниках.
На этом всё. Пишите в комментариях, если хотите, чтобы я ещё раз разобрал какую-то нейронку по созданию AI-аватаров.