Простая программная генерация видео и картинок без стороннего API

В этой статье я покажу простой способ генерации видео программами на Python и C++ без использования стороннего API. Вам так же потребуется ffmpeg, без него вы не сможете конвертировать файлы в читаемые форматы!

Можно экспериментировать, например вы можете создать видео максимального качества и проверять как оно будет эффективно сжиматься тем или иным видео кодеком. Можете даже создать картинку с градиентом в 64-битном цвете и с дизерингом, мало ли какие ещё извращения можно придумать. Можно ещё делать видео с быстро движущимися объектами и сохранять его в 1000 кадров в секунду и потом тестировать всякие интерполяторы движения и моушн блюры.

С помощью скрипта на Python можно создать видео. Просто сохраните этот код в какой-нибудь "main.py"

import os import sys state = 0; # переменная нужная для анимации смещения узора w = 320 # ширина кадра h = 240 # высота кадра fps = 25 # кадров в секунду duration = 2 * fps # сколько длится видео (2 сек) buffer = bytearray(w * h) # для хранения данных кадра # генерация кадров while state < duration: for y in range(0, h): for x in range(0, w): buffer[y * w + x] = ((x + state) ^ y) % 256 # генерация узора os.write(sys.stdout.fileno(), buffer) # кадр записывается в вывод консоли state += 1 # немного сдвинуть узор в следующем кадре

Далее исполняете команду в консоли: python main.py | ffmpeg -y -f rawvideo -pixel_format gray -video_size 320x240 -framerate 25 -i pipe: out.mkvВ результате у вас получится двухсекундное видео с узором out.mkv.

Чтобы сгенерировать эту гифку, я просто заменил out.mkv на out.gif

В командную строку в Windows и Linux можно выводить не только текст, но и бинарные данные файлов, а так же эти данные можно перенаправлять в другую программу, в данном случае это ffmpeg который принимает RAW кадры и конвертирует их в видео. И в коде и в команде вызова должны совпадать fps/framerate и video_size/w/h иначе всё разъедется. Нельзя просто взять и написать данные пикселей в консоль через print, нужно записывать их в stdout как в файл через os.write.

Если в коде изменить duration на 1, то создастся только один кадр с узором и его можно сохранить как картинку так:python main.py | ffmpeg -y -f rawvideo -pixel_format gray -video_size 320x240 -i pipe: out.png

Конечно Питон это медленно и я покажу как сделать это на C++, в этом языке стандартный поток вывода stdout тоже считается файлом и в него можно записывать бинарные данные.

#ifdef WIN32 #include <fcntl.h> #endif #include <cstdio> #include <iostream> #include <cstdint> #include <vector> int main() { constexpr size_t fps = 25; constexpr size_t w = 320; constexpr size_t h = 240; constexpr size_t duration = fps * 5; constexpr size_t size = w * h; auto buffer = std::vector<uint8_t>(size); size_t state = 0; #ifdef WIN32 setmode(fileno(stdout), O_BINARY); #endif while (state < duration) { for (size_t y = 0; y < h; ++y) for (size_t x = 0; x < w; ++x) buffer[y * w + x] = (((x + state) ^ y) + state) % 256u; ++state; std::cout.write(reinterpret_cast<char*>(buffer.data()), size); } }

Сборка и запуск:

g++ -Wall -O2 main.cpp -o prog prog | ffmpeg -y -f rawvideo -pixel_format gray -video_size 320x240 -framerate 25 -i pipe: out.mkv

Я специально не указывал выходной видео кодек для упрощения команд, но вы можете добавить в ffmpeg опции -vcodec libx264rgb -crf 0 для сохранения видео в lossless качестве. Если вы модернизируете программу и добавите в неё поддержку RGBA цвета, то помните что h264 не умеет сохранять прозрачность в кадрах и вам лучше использовать кодек FFV1.

Можно сгенерировать видео на любом языке программирования, если на нём можно переключить стандартный вывод в бинарный режим.
По такой же логике можно и перенастроить поток ввода stdin в бинарный режим и передать в программу бинарные данные из ffmpeg, таким образом можно будет смастерить видео-фильтр. В общем надо сделать что-то типа того:ffmpeg | фильтр | ffmpeg. Вообще можно просто написать Frei0r фильтр на Си и использовать его в ffmpeg, но мой способ просто не требует никакого стороннего API.
Поток можно перенаправлять и в файл и потом этот файл скармливать ffmpeg'у, но учтите что видео будет совсем без сжатия и несколько секунд видео 1280x720 будут весить гигабайты. Сделать это можно так:prog > video.datfmpeg -y -f rawvideo -pixel_format gray -video_size 320x240 -framerate 25 -i video.dat out.mkv
Раз можно сгенерировать сырое видео, то можно и создать сырой PCM звук и конвертировать его в аудио форматы. Можно например генерировать мелодии и сохранять их в pcm_s16le поток. Опять же переключив stdin в pipe режим вы можете получать аудио поток извне, обрабатывать его своей программой и передавать далее, таким образом у вас получится аудио фильтр и не надо никакого VST/LADSPA API.

Это очень простой способ создания видео (для программиста). Если что, в ffmpeg уже встроены некоторые генераторы тестовых видео. Сохраняются ли гигабайты сырых кадров в оперативной памяти при использовании такого способа передачи или же на диске - мне это неизвестно, возможно что у такого способа есть какие-то ограничения на размер передаваемых данных. Помните что в передаваемом потоке данных нет никаких меток синхронизации и если что-то где-то потеряется в пути, то видео всё станет кашей, так что не пытайтесь передавать такой поток через net cat (я не пробовал).

Простая программная генерация видео и картинок без стороннего API

Зачем это нужно?

Способ 1: на Python

Как это работает?

Способ 2: на C++

Как сохранить в FFmpeg видео в полном качестве

Что ещё можно сделать

Заключение