YouScriptor.com перевод лекций с YouTube в PDF

Я много слушаю различных лекций на YouTube — в основном это античная и современная философия, математика, физика. В прошлом месяце я писал об экспериментах с распознаванием и оформлением текста, и вот сейчас более-менее довел проект YouScriptor.com до релизной версии.

Миссией проекта YouScriptor.com я вижу вклад в развитие образования и самообразования. You Scriptor с одной стороны ссылается на YouTube, с другой — Scriptor (лат.) — писарь, который переписывал книги и хранил знания в монастырях, которые в то время были интеллектуальными центрами. Также это дань уважения одной из моих любимых книг "Имя Розы" Умберто Эко.

В разделе Scriptorium можно посмотреть историю уже распознанных видео и отфильтровать по автору канала или теме. Лично я чаще всего смотрю и читаю конспекты лекций авторов Зубова, Хаустова, Бугая — многие из которых я уже кинул на распознавание, и их можно читать.

В новой версии значительно увеличена стабильность и скорость, добавлена мобильная версия, усовершенствован дизайн и эргономика, а также добавлена возможность сохранять результат в PDF-документ.

Понятное дело, что я не писал собственные нейросети и языковые модели, подключены сторонние сервисы. На данный момент это OpenAI API. Вопреки ожиданиям многих, основная сложность — не распознать слова из речи, а оформить из слов оформленный и отформатированный текст. API работает нестабильно, иногда довольно редко глючит и выдает чепуху, но чаще выдает потрясающие результаты. Вот, например, по лекции о паттерне "компоновщик" он выделил куски кода и отдельно их оформил. При скачивании PDF есть даже подсветка синтаксиса (тут уже работа библиотек конвертации).

Для сравнения — лекция о стохастическом управлении, где много формул на распознавание.

При этом, по причине того, что это некоммерческий проект на энтузиазме, используется самая дешевая модель. Хотя не исключаю, что в будущем можно будет экспериментировать и с другими моделями.

Единственное и ключевое ограничение сейчас — это необходимость, чтобы автор не отключал субтитры к видео. Технически версия, которая скачивает аудиодорожку и распознает субтитры самостоятельно, у меня есть, но пока я не готов выкладывать ее публично, так как работает она довольно долго, и пока не уверен, что сервер справится, если начнут массово кидать такие видео на распознавание. К счастью, таких версий относительно немного, но думаю, со временем перенесу и эту функцию в паблик.