Как мы внедрили ИИ на сайте одного из гуру «Международного общества сознания Кришны»

Рассказываем, как помогли последователям гуру получить доступ к контенту в разных форматах. Разработали площадку для просмотра видео, автоматизировали транскрибацию лекций и реализовали поиск по слову внутри всех видео.

Если по понедельникам вы не тренируете ИИ на расшифровку кришнаитских песнопений, то с вашей жизнью что-то не так

Бхакти Викаша Свами — один из ведущих гуру организации, лично учился у Прабхупады, основателя конфессии. Проповедник постоянно читает лекции в разных странах, активно занимается своим YouTube-каналом.

Как мы внедрили ИИ на сайте одного из гуру «Международного общества сознания Кришны»

Два года назад мы в Unistory разработали для Бхакти и его лекций отдельный сайт, мини-YouTube для последователей и учеников.

Сделали все на Firebase, большой базе данных от Google, которая позволяет веб-сервисам и приложениям работать без бэкенда. Лекции в формате видео и аудио выходят на YouTube и собственной площадке в большом количестве. Сейчас там больше 120 тысяч подписчиков, загружено больше 2500 видео.

Разработали собственную платформу, видеохостинг с расширенными возможностями
Разработали собственную платформу, видеохостинг с расширенными возможностями

Автоматизировать транскрибацию видео

Через два года после разработки площадки заказчик вернулся к нам с новой идеей: разместить на сайте расшифровки видео-лекций. Оказалось, что значительная часть аудитории Бхакти предпочитает именно текстовый формат. Но транскрибировать сотни и тысячи лекций вручную — непосильный труд. Нашей задачей стала автоматизация этого процесса.

Как это сделать? Если вам пришло в голову слово «нейросети», — поздравляем, вы не ошиблись. Дальше в кейсе подробно рассказываем, как мы автоматизировали перевод из видео в текст, с какими нюансами, и почему наша технология лучше любого сервиса транскрибации.

Пользователи приходят на платформу, чтобы слушать и читать лекции Бхакти
Пользователи приходят на платформу, чтобы слушать и читать лекции Бхакти

Провести интеграцию с Elasticsearch

Еще одна идея заказчика: помочь пользователям более точечно искать информацию на платформе. Типичный юзеркейс: последователь приходит на YouTube-канал, чтобы посмотреть, например, что его духовный учитель думает об отношениях в семейной паре. Поиск выдает ролики, и далеко не все из них релевантны запросу: некоторые про отношения с гуру или друзьями, другие — про взаимоотношения с Богом.

Дополнительная проблема: даже если пользователь нашел нужное видео, оно может длиться два или три часа и содержать много мыслей на самые разные темы. Вместе с заказчиком мы решили помочь последователям Бхакти найти ответы на их вопросы.

Подготовили алгоритмы, которые автоматически расшифровали тысячи многочасовых лекций
Подготовили алгоритмы, которые автоматически расшифровали тысячи многочасовых лекций

Whisper AI и ChatGPT

Чтобы транскрибировать видео, мы решили использовать специализированную нейросеть Whisper AI. Искусственный интеллект хорошо справляется с задачей транскрибации, но итоговый текст, как правило, недостаточно презентабельный.

Материал все равно требует ручной обработки, а в нашем случае из-за огромного количества видео это не представлялось возможным. Чтобы сделать качественный чистовик лекций вручную, пришлось бы загрузить несколько десятков сотрудников работой на месяц.

Как мы внедрили ИИ на сайте одного из гуру «Международного общества сознания Кришны»

Чтобы обработать текст после транскрибации, мы реализовали алгоритм, который прогоняет расшифровку через ChatGPT. Результат — более качественная расшифровка лекции, стилистически выверенная и без ошибок.

Скрипт проводил обработку лекций в течение нескольких месяцев. Да, это долго — но в тысячу раз быстрее и дешевле, чем делать вручную.

Возможность модерации

При обработке текста через ChatGPT все равно сохраняется вероятность ошибок, стилистических и фактических. Мы решили дать пользователям возможность указать на эти ошибки.

Бхакти Викаша Свами
Бхакти Викаша Свами

Посетитель площадки может репортить о найденной ошибке администратору, который затем исправляет текст или отклоняет репорт. Сейчас заканчиваем работу над технической реализацией этой фичи.

Поиск по слову внутри видео

Мы превратили аудио и видео в текст, но перед нами стояла еще одна задача — помочь пользователям найти внутри лекций отдельные слова. В качестве решения мы выбрали Elasticsearch — инструмент, который позволяет искать данные в огромных датасетах.

В качестве решения мы выбрали Elasticsearch — инструмент, который позволяет искать данные в огромных датасетах.

Elasticsearch не может искать слово в аудио или видео, поэтому поиск на платформе происходит по расшифровкам лекций, которые мы автоматизировали на предыдущем этапе работ. Каждая расшифровка привязана к своей видео/аудио версии, поэтому Elasticsearch может найти, сколько раз в той или иной лекции упоминалось нужное пользователю слово.

В рамках UI мы разделили поиск на два варианта: обычный поиск и Deepsearch, поиск внутри лекций. Пользователь может выбрать, искать ему лекцию по названию или по словам, которые в ней упоминаются.

Реализовали возможность поиска по конкретному слову внутри всех видео, загруженных на платформу
Реализовали возможность поиска по конкретному слову внутри всех видео, загруженных на платформу

Результат и планы

У клиента было две задачи, и мы решили обе, полагаясь на AI-расшифровки текста. Пользователи площадки получили возможность читать лекции проповедника и точечно искать нужные видео на основе самого контента, а не только названия.

В ближайших планах — при запросе Deepsearch показывать точные тайминги, в которые Бхакти говорил искомое слово на видео. Тайминги также будут подтягиваться из текстовой версии.

Наша студия разработки встретила этого клиента на бирже фриланса Upwork. Я решил поделиться опытом со всеми желающими — раздаю в нашем Телеграм-канале подробный гайд о том, как начать работать на этой международной бирже. Все, что надо сделать — подписаться на телеграм-канал Unistory и написать коммент к любому посту «Хочу гайд».

В ответ я вышлю вам в личку подробную инструкцию по Upwork, где вы узнаете, как:

  • Делать заказы на зарубежку и зарабатывать в долларах

  • Зарегистрироваться в обход блокировок и получить свой первый заказ

  • Прокачать свой профиль и выйти на жирные заказы

  • Отстроиться и победить конкурентов на площадке

Документ пригодится как студиям, так и фрилансерам. Будет полезно директорам агентств, дизайнерам и разработчикам.

77
9 комментариев

харе джипити харе харе

2
Ответить

🕉️🧘

1
Ответить

изобрели ютуб практически, ага.

2
Ответить

Пока еще Google не подключили OpenAI к YouTube. Так что собственный кастомный сервис дает кучу дополнительных возможностей :)

Ответить

А кришнаиты у нас с каких пор не запрещены на территории РФ?

1
Ответить