Мини-фабрика для выпекания рилсов на базе стримов YouTube

Рассказываю, как собирал эту мини-фабрику для выпекания рилсов на базе стримов (либо других горизонтальных видео). Делал ее под себя и все еще тестирую, как эти ролики заходят в алгоритмы YouTube. Сам концепт для вашего агента будет лежать в комментариях в формате MD, а тут схема и техничка.

Как это работает сейчас:

В четверг утром срабатывает плановая задача. Она через YouTube API находит свежий стрим и проверяет, что он открытый и трансляция закончилась. Дальше берет расшифровку из Wiki LLM (туда у меня расшифровки давно валятся), а если ее еще нет, расшифровывает стрим через Groq. Потом проходит весь конвейер и кладет 8-12 роликов в папку с датой стрима. В конце присылает список в Telegram через моего бота-ассистента.

Какие инструменты использую:

1) Проверяем, что стрим открытый, через yt-dlp.

2) Субагенты на Sonnet читают полные расшифровки каждого стрима и ищут пары «вопрос-ответ» с таймкодами.

3) yt-dlp качает только нужные минутные отрезки, а не весь стрим.

4) mlx-whisper расшифровывает каждый отрезок с точностью до слова.

5) OpenCV находит лица и смены кадров. Кто говорит, сверяем по подписи в окне Google Meet.

6) На каждый ролик пишется конфиг. Склейки сдвигаются в паузы, хук подбирается по фразе.

7) HyperFrames рендерит ролик как анимированную страницу в mp4. Синхрон проверяется программой.

8) Потом обложка, тексты и раскладка по папкам.

Можно, конечно, сделать не только автоматический забор исходника, но и загрузку рилсов на YouTube, но для этого нужно пройти проверку приложения (для которого выдан токен) на Google Cloud. А мне и руками пока нормально загружать в отложенные.