ИИ-Дед Мороз: как мы создали бота для генерации видео открыток с новогодними героями
В декабре этого года команда студии ИИ-разработки AllSee решила превратить детскую мечту в реальность – оживить любимых новогодних персонажей и даже получить от них персональное поздравление. Сегодня расскажем, как мы это сделали, какие трудности нам пришлось преодолеть и что из этого получилось. Обязательно читайте до конца — всех наших читателей ждёт бонус от нашей команды!
Идея: от альбомов с героями до оживших открыток
Изначально мы собирались сделать локальный проект – хотели придумать оригинальный подарок для друзей и родных. Первоначальная идея родилась из детсадовских и школьных альбомов – тех самых, где лицо можно было прифотошопить к любимому детскому персонажу. Остановились мы на открытках с персональными видео поздравлениями, которые озвучивает ИИ. Чтобы обеспечить «вау»-эффект, мы реализовали несколько функций:
1. «Оживили» новогодних героев – Снегурочку, Деда Мороза, Эльфа и Гринча. Теперь открытка – не просто карточка, а целое видео с поздравлением.
2. Научили персонажей из вводных пользователя создавать персональный текст поздравления
Все это делается в телеграм-боте за считанные минуты, а результат получается удивительным – смотрите сами:
В процессе разработки мы решили минимизировать затраты: для озвучки и видео анимации использовали наш собственный GPU-ускоритель NVIDIA 4090, а для генерации текста поздравлений и изображений обратились к уже знакомым инструментам Yandex GPT и Yandex ART. Эти решения идеально подошли как по качеству, так и по стоимости: одно поздравление обходится нам примерно в 1 рубль.
О других наших проектах с этими и другими инструментами читайте здесь.
В итоге проект получился реально классным, и мы решили поделиться им с нашими читателями и клиентами – чтобы у большего числа людей была возможность оригинально поздравить друзей и родных.
Как мы это сделали: от первых набросков до запуска
Создание персонажей
Начали с генерации подходящих персонажей в Yandex ART. Изначально героев было 6: Дед Мороз, Снегурочка, Фея, Гринч, Олененок и Эльф:
В конечном итоге мы оставили четырех, причем сделали упор на 3D-анимацию, чтобы они выглядели более современно и реалистично:
Генерация текста поздравлений
Следующий этап — настройка промптов для Yandex GPT, чтобы он мог генерировать креативные и персонализированные поздравления. Например, мы учили бота учитывать имя человека и детали пожеланий. Вот пример промпта и ответа:
Промпт:
Ты — <роль, например 'дед-мороз'>. Поздравь торжественно с Новым годом. Обратись к тому, кого я напишу. В поздравлении используй факты, которые я пришлю. Напиши поздравление кратко.
Ответ:
Промпт:
Ты — главный тамада на вечеринке. Придумай очень краткое поздравление с Новым годом, используя факты, которые я напишу.
Ответ:
Также мы отработали несколько сложных кейсов - например, если человек не хочет писать факты и поздравления самостоятельно или если запрос вообще не соответствует изначальной роли бота:
Техническая реализация
Здесь начались сложные этапы: создание системы озвучки, lipsync и собственно разработка телеграм-бота.
Подробнее про технический процесс разработки мы рассказали в нашей статье на Habr
Результат: как это работает
Наш телеграм-бот довольно прост в использовании – вот, как он работает:
1. Первым делом бот предлагает начать генерацию поздравления:
2. Далее пользователю предлагается указать имя получателя и пожелания, а также выбрать персонажа:
3. И в конечном итоге вы получаете готовую видео открытку:
Вот еще несколько примеров готовых поздравлений:
Несмотря на то, что бот пока не идеален, он в целом работает классно и точно удивит ваших друзей или близких, а также поможет поздравить начальника (или ваш отдел, если начальник – это вы).
Другие проекты с GenAI
В студии ИИ-разработки AllSee мы работаем со множеством ИИ-проектов – вот некоторые из продуктов с применением генеративного ИИ, которые мы реализовали в 2024 году:
· Чат-бот для Вкусвилл — помогает покупателям с выбором блюд из каталога готовой еды.
· ИИ-секретарь — автоматизирует обработку разговоров и записей встреч.
· Виртуальная примерка одежды — показывает, как вещи будут смотреться до покупки.
Если у вас есть идея, где может помочь ИИ, мы готовы воплотить её в жизнь – расскажите о ней в заявке на нашем сайте, и мы поможем вам в реализации стартапа или повышении эффективности вашего бизнеса!
Итоги и обещанный бонус
Итак, подведем итоги: этот проект мы запустили всего за две недели усилиями трёх человек: продакта, разработчика LLM/NLP и специалиста по CV. И всё это в первую очередь ради того, чтобы подарить людям радость и немного волшебства в предновогодний период:
И специально для вас – наших читателей – у нас есть небольшой бонус: оставьте комментарий с обратной связью на нашего бота и ссылку на ваш телеграм, и мы увеличим вам лимит в боте до 5 открыток в день вместо стандартных 2. Своими отзывами вы поможете нам улучшить наш продукт еще до того, как пробьют куранты!
Переходите в телеграм-бот, пробуйте его сами и радуйте близких необычными открытками. А мы поздравляем вас с наступающим Новым годом и желаем счастья, тепла и вдохновения в 2025 году!