Работу — роботам: Doubletapp сделал бота для расшифровки текста и создания Meeting Notes

Пожалуй, в 2023-м только ленивый не рассуждал о том, какую работу можно безболезненно делегировать нейросетям. В этой статье мы рассказываем о том, как ребята из ML-отдела Doubletapp сделали бота, помогающего создать заметки с важной встречи, конференции или созвона с заказчиком. Только представьте: после пяти встреч подряд восстанавливать в памяти договоренности и планы. Удручает? Нас теперь нет, потому что бот Doubletapp Meeting Notes взял эту работу на себя: мы просто «скармливаем» запись боту, а он делает для нас качественную (!) расшифровку и митинг ноутс — краткое содержание разговора, при этом определяет, какие реплики принадлежат каждому из собеседников.

Сотрудники компании пользовались ботом полгода и вот появился повод протестировать его за пределами переговорок Doubeltapp. В Екатеринбурге 24 октября прошла конференция Agency Growth Day — про поиск актуальных бизнес-моделей, запуск продуктов и выход на новые рынки. Doubletapp не только разработал ее дизайн-концепцию, но и позаботился, чтобы никто ничего не пропустил: прямо во время конференции с помощью собственного бота-расшифровщика мы готовили и публиковали краткие конспекты всех выступлений.

Обрабатывали контент в реальном времени, митинг ноутс выкладывали через 10–15 мин. после ухода со сцены очередного докладчика. Тексты нашего трудолюбивого бота можно увидеть в соцсетях ивента, а еще организаторы включили их в итоговую рассылку для участников вместе с фотографиями и презентациями докладов и выложили на сайте Agency Growth Day.

ML-отдел Doubletapp разработал бота-расшифровщика, чтобы нам самим было удобнее работать: сотрудники и клиенты Doubletapp живут по всему миру, и необходим инструмент, который переведет длинные обсуждения в короткие сводки, а мы по горячим следам зафиксируем результаты и закрепим договоренности.

Agency Growth Day — отличный повод, чтобы рассказать участникам о нашем боте. Сами знаете, на семичасовом мероприятии никто не сидит как приклеенный. Хочется пообщаться, поучаствовать в активностях, да отойти кофе выпить наконец. Можно потом посмотреть трансляцию (ага, все 7 часов)... А толку-то смотреть потом — вдруг прямо сейчас что-то интересное рассказывают, и это можно обсудить с докладчиком, пока все не разъехались?

ML-отдел Doubletapp умеет вникать в задачу клиента и решать ее точно и экономно. Например, у нас есть разработки, основанные на алгоритмах машинного обучения и компьютерного зрения:

Еще один проект — приложение под iOS для тренировок по практической стрельбе HitFactor Shots Analysis. Команда ML обучала нейросеть точно опознавать звуки выстрелов и портировала обученную сеть на конечное устройство.

В апреле 2023 года ML-отдел начал работу над внутренним продуктом — ботом-расшифровщиком. Готовые решения есть, но их качество работы с русской речью нас не устраивало. Плюс мы сделали разделение говорящих, в расшифровке видно, какие слова кому принадлежат — такое мало где есть. Нам нужен собственный стабильный инструмент, работу которого мы можем контролировать, а инструментарий — дорабатывать.

Бот задуман с большим запасом прочности: запросы обрабатываются асинхронно (с заделом на множество одновременных обращений), а технологии подобраны так, чтобы обрабатывать одновременно большие файлы — до 2 Гб (ограничение Телеграм).

Бот-расшифровщик работает на основе трёх нейросетей:

• Диаризация (определяем, сколько человек говорит, и детектируем реплики каждого). На этом этапе используем нейросеть, развернутую на нашем сервере.

• Транскрибация (перевод устной речи в текст). На этом этапе работает Whisper (бесплатная система распознавания речи от OpenAI) — для решения задачи в общем случае ничего сейчас лучше в мире нет, плюс ее реально дообучать для каких-то специфических кейсов. Whisper можно разворачивать у себя, можно платить за API у сервисов, где он уже развернут.

•Митинг ноутсы / краткое содержание. Используем GPT-4, тут большую роль играет промпт-инжиниринг — мы на имеющемся API подбираем такие запросы, чтобы задача решалась лучше всего.

Чтобы максимально ускорить работу, реализовали параллельную обработку больших файлов и исключили, где можно, некоторые шаги — та же диаризация при одном спикере не нужна, некоторые аудиофайлы конвертировать не нужно и т. п.

Для подключения монетизации пришлось создавать собственные решения. Поскольку в Pyrogram (библиотеке для создания Telegram-ботов) нет готовых методов для платежей, то пришлось их писать самостоятельно с тем, что предоставляет эта библиотека.

За 7 часов мероприятия мы обработали 12 выступлений длительностью от 8 до 49 минут. Среднее время на обсчет — около 15 мин., самый короткий файл обработали за 8 мин., самый длинный — за 28 мин. Вес файлов — от 14,7 Мб до 401 Мб. Сбоев 0.

Сначала хотели выпустить краткие сводки по шести докладам, а бизнес-разборы, во время которых все перебивают друг друга и говорят хором (не всегда в микрофон) решили обработать по возможности. Но бот обсчитывал все быстро и без сбоев, поэтому продолжили работу и опубликовали еще шесть сводок — по презентациям участников и по обсуждениям экспертов.

После выступления нашего СЕО и объявления в каналах конференции ботом воспользовались 47 человек, мы получили несколько предложений о сотрудничестве. Например, сейчас занимаемся доработкой бота для нужд клиента (мы добавили удобные ему форматы файлов для заливки) — к нам обратился заказчик, который занимается приложениями и сайтами для коммерческой медицины в Екатеринбурге. Компании нужен такой электронный секретарь для протоколирования заседаний — ранее использовали диктофонные записи и привлекали сотрудника-расшифровщика, а теперь могут более рационально использовать человеческие ресурсы. Дополнительным плюсом послужило и то, что файлы, которые загружает заказчик, доступны только ему — обрабатывать можно конфиденциальную информацию.

Работу ML-специалистов Doubletapp отметило высокое жюри конкурса Tagline Awards 2023 — кейс получил 2 серебряных и 2 бронзовых статуэтки.

Мы готовы совершенствовать продукт вместе с заинтересованным заказчиком для решения его бизнес-задач. Сейчас разрабатываем поисковый инструментарий по загруженным файлам и решения для подключения бота непосредственно к созвонам в Zoom или Google Meet, чтобы получать конспект сразу же после окончания звонка.