Как я сделал чат-бота для нарезки видео на шортс для ютуб с помощью нейросети

Привет, меня зовут Алексей Ярмоц, я разработчик и создатель нескольких чат-ботов, таких как @Vid2Text_bot, @MeetScribe_bot и @Zvonalitik_bot. Сегодня хочу поделиться с вами историей создания моего нового продукта — чат-бота для нарезки видео на шортсы @narezkavideo_bot.

Чат-бот для <a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Fnarezkavideo.ru%2F&postId=1323536" rel="nofollow noreferrer noopener" target="_blank">нарезки видео на фрагменты</a> с помощью нейросети.
Чат-бот для нарезки видео на фрагменты с помощью нейросети.

Идея создать этот сервис возникла из текущей задачи, с которой я столкнулся в другом моем проекте — "Big Ben CRM — реальные истории". Нам нужно было разделить длинное интервью с пользователями нашей платформы для языковых школ на короткие фрагменты видео для продвижения.

Несколько месяцев назад я накидал прототип Python-скрипта для нарезания видео на основе таймкодов после транскрибации с помощью GPT. Однако, проект пришлось временно забросить из-за множества непонятных моментов.

Самые первые попытки нарезать видео на шортсы, скрипт был написан с помощью ChatGPT.
Самые первые попытки нарезать видео на шортсы, скрипт был написан с помощью ChatGPT.

Неделю назад я вернулся к этому проекту с новым взглядом и довел его до ума, добавив личный кабинет с простым редактором субтитров.

Теперь это выглядит вот так в чат-боте «<a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Ft.me%2Fnarezkavideo_bot%3Fstart%3Dref_vc_narezka&postId=1323536" rel="nofollow noreferrer noopener" target="_blank">Нарезка видео на шортс</a>»
Теперь это выглядит вот так в чат-боте «Нарезка видео на шортс»

Оценка виральности

Сервис просчитывает параметры виральности для каждого видео по четырем критериям:

  • Захват внимания
  • Логичность, связность
  • Вовлеченность
  • Тренды

Это позволяет определить самые перспективные клипы, которые будут наиболее интересны аудитории.

Из длинного видео вы получаете превью для большого количества видео нарезок, которые отранжированы по степени «виральности». (весьма условно, конечно же, но тем не менее.)
Из длинного видео вы получаете превью для большого количества видео нарезок, которые отранжированы по степени «виральности». (весьма условно, конечно же, но тем не менее.)

Подготовка статей

В какой-то момент я решил, что было бы удобно при публикации шортсов сопровождать их дополнительным текстовым описанием. Но просто транскрибированный текст не всегда выглядит хорошо, ведь в видео часто используется разговорная речь.

Поэтому дополнительным запросом к нейросети мы подготавливаем статью для каждого фрагмента видео. Это позволяет создать качественное текстовое описание, которое улучшает восприятие и продвижение видео.

Готовая статья намного лучше подойдет для описания к вашему шортс, чем просто транскриб.
Готовая статья намного лучше подойдет для описания к вашему шортс, чем просто транскриб.

Редактирование субтитров

Вы можете просмотреть превью клипов, изменить настройки цвета, шрифта и позиционирования субтитров, исправить опечатки и дополнить текст дополнительной информацией или удалить лишнее. После этого чат-бот подготовит финальное видео в высоком разрешении.

В редакторе можно очень быстро исправить субтитры – текст, цвет, позиционирование и запустить повторную нарезку shorts.
В редакторе можно очень быстро исправить субтитры – текст, цвет, позиционирование и запустить повторную нарезку shorts.

Исправление опечаток в сценарии, удаление и добавление слов к видео фрагментам тоже делается очень просто. Выбираете слово, редактируете, сохраняете и получаете новое превью короткого видео клипа для вашего shorts.

Редактирование слов в субтитрах к фрагменту видео для шортс.
Редактирование слов в субтитрах к фрагменту видео для шортс.

Не всегда по транскрибу понятно, что имелось в виду, поэтому я добавил кнопку "перейти к кадру в видео", чтобы можно было быстро прослушать нужное слово и внести правки в готовый сценарий к видео-нарезке.

Удобный переход к нужному кадру видео-фрагмента при редактировании субтитров.
Удобный переход к нужному кадру видео-фрагмента при редактировании субтитров.

Как это работает

Для работы с чат-ботом для нарезки видео на шортс нужно выполнить несколько простых шагов:

  • Откройте чат-бота @narezkavideo_bot и нажать кнопку "создать шортс",
  • Загрузите файл или ссылку на YouTube-видео.
  • Бот транскрибирует видео с таймкодами, разделит текст на логические интересные блоки мини-историй.
  • Чат-бот подготовит заголовок и статью на основе каждой истории.
  • Нейросеть нарежет видео на фрагменты и создаст серию коротких видео, отсортированных по степени виральности.
  • Вам останется только выбрать наиболее интересные, проверить субтитры и скачать видео shorts в высоком качестве.
На 40-минутное видео получается около 20-25 клипов длительностью от 30 до 90 секунд.

Сервис просчитывает параметры виральности для каждого видео по четырем критериям и показывает самые перспективные клипы.

Далее вы можете просмотреть превью клипов, изменить настройки цвета, шрифта, позиционирования субтитров, исправить опечатки и дополнить текст дополнительной информацией или удалить лишнее. После этого чат-бот подготовит финальное видео в высоком разрешении.

На основе длинного видео вы получаете подборку шортсов с самым ярким контентом и красочными субтитрами, а также текстовый контент для продвижения.

Что дальше

В ближайших планах:

  • Добавление функции face-tracking и обрезки горизонтальных видео до вертикальных и квадратных с учетом позиции говорящего в кадре.
  • Возможность комбинирования лиц нескольких спикеров на одном экране в клипе.

В дальнейшем я планирую использовать платформу для собственных проектов «EduGrowth (чат-бот)» и «Big Ben CRM».

Кроме того, есть идея сделать интеграцию с другим моим проектом «Быстрокурс», чтобы автоматически резать записи длинных вебинаров на короткие уроки и сразу их упаковывать в мини-курсы в Телеграм-боте с автоматическим тестированием учеников и защитой контента средствами Телеграм.

Приглашаю к тестированию

Я приглашаю всех читателей протестировать работу чат-бота. Напишите в комментариях, в каких целях вы используете шортсы и фразу «Хочу бонус» — и я активирую для вас бонусные 300 рублей в чат-боте. (Предложение действует до 6 августа 2024 года)

Спасибо за внимание!

Друзья, ищу партнеров (тех, кто умеет развивать и продвигать проекты – потому как сам в этом не очень), а также частных инвесторов для продвижения и развития проектов:

  • Vid2Text – чат-бот для преобразования видео в текст с созданием SEO-статей на основе транскриба.
  • MeetSribe – чат-бот AI-секретарь для расшифровки совещаний и встреч с постановкой задач и созданием MindMap встречи.
  • Zvonalitik – расшифровка и анализ звонков с оценкой по 15 параметрам.
  • БыстроКурс – платформа для быстрого создания курсов и проведения уроков в Telegram с бесплатным хранилищем и защитой контента от копирования.
  • Big Ben CRM – для языковых школ и учебных центров с мобильным приложением «Твоя Школа» для геймификации учебного процесса.
  • EduGrowth (чат-бот) – чат-бот с подпиской к записям эфиров с экспертами в сфере образовательного бизнеса.

Если что-то из этого вам интересно, напишите мне @ayarmots в Телеграм – продумаем варианты коллаборации.

77
11
23 комментария

А как происходит обработка видео с несколькими спикерами? Можно ли как-то выделить каждого спикера в отдельные нарезки?

2
Ответить

В отдельные нарезки пока не умеет бот, но сейчас тестируем функцию создания коллажа из двух спикеров. Пока это вот так выглядит.

Ответить

Очень полезный сервис! Как происходит оценка логичности и связности нарезок? Можно ли настраивать эти параметры под свои нужды?

1
Ответить

В целом вы можете перекомпоновать шортс в редакторе, как вам угодно. Можно любую последовательность фраз задать, убрать какие-то слова.

Оценку на связность и логичность текста делает нейронка - тут сложно сказать, как она оценивает этот параметр, но оценки выдает весьма адекватные, как мне кажется.

1
Ответить

Очень интересная идея. Подскажите, какие ограничения по размеру и длительности видео для загрузки в чат-бот?

1
Ответить

Тестировали на часовом видео - все сработало. Думаю, что и более длинные видео обработаются без проблем.

Ответить

Планируете ли вы добавить возможность группового редактирования видео, чтобы несколько пользователей могли работать над одним проектом?

1
Ответить