Использование AI-ассистента на онлайн-встречах. Личный опыт и разбор сервиса Fireflies.ai

Важно начинать с вопроса — для чего используем продукт или нанимаем сотрудника? Я искал не только помощника, который будет расшифровывать встречи. Потому что расшифровывать встречи можно, закидывая звуковой файл (Zoom отдельно отдает звуковой файл) в транскрибатор, который разбирает текст, в том числе и на русском языке, потом закидываем в NotionAI (потому что в NotionAI не сталкивался с ограничениями связанные с длиной текста для обработки AI) — просим сделать саммери.

Другой способ - отдать этот файл в Elephas и писать саммери уже с помощью chatGPT.

Сложность в том что эти методы не кажутся обычными или будничными. Делаем много движений, организовываем место на компьютере, где храним записи (переодически забывая это сделать). Нужно что-то простое и удобное.

• Хранил у себя записи важных встреч и переговоров которые раскладываются по полочкам
• Легко интегрировался с Zoom, календарем и Zoom Cloud (чтобы автоматом вытаскивать записи оттуда)
• Поддерживал русский язык для распознования, так как у меня много встреч на русском языке. Сервис поддерживает разные языки на которых проходят встречи, тестировал английский и русский. Английский изначально работал отлично, русский за последнее время стал намного лучше распозноваться.
• Давал дополнительную аналитику и ценность
• Все это должно работать легко в пару кликов мышки

Задачи должны решаться атоматически или в пару кликов мышки. После теста сервисов остановился на fireflies.ai. Давайте подробнее расскажу как решаю каждый пункт

Раньше сохранял запись на компьютере, потом складывал в папки и если нужно возвращался к записям. Неудобно выкачивать запись и не забывать складывать в нужную папку. Проблема возникала когда встречу проводил другой человек. Нужно просить человека записывать видео, потом скидывать - тоже неудобно. FireFlies приходит на встречу и уже начинает записывать, причем не важно организатор вы или нет, важно чтобы бот попал на встречу. Также не важно где встреча проводится - FireFlies поддерживает запись с популярных сервисов видеоконференций.

После того как встреча закончится, запись добавится в интерфейсе сервиса. Далее можно одним кликом положить встречу в канал, напоминает работу в Slack.

Конечно можно в ручную добавлять бота на каждую встречу, удобнее синхронизировать сервис с календарем и отметить встречи на который бот ходит, а на какие нет. Чтобы это работало нужно чтобы в приглашении календаря содержалась ссылка на конференцию, в противном случае боту будет непоянтно куда идти. Реализовал синхронизацию с google календарем - работает

Синхронизация с Zoom Cloud это отдельная приятная фишка. По работе часто делаю аналитические отчеты (в Power BI), для презентации отчетов сформировал следующую практику. Самый простой способ записать скринкаст, это включить Zoom (в конференции будет только один пользователь - это вы), демонастрацию экрана и запись в Zoom Cloud. Записываю по отчету скринкаст на 15-30 минут в Zoom Cloud.

Сервис забирает запись из Zoom Cloud создает саммери по записанному скринкасту и дает содержание видео с временными метками. Из этой информации формирую описание к видео, после к сообщению прикладываю ссылку и пароль к записи которые выдает Zoom. Пользователь получает описание, доступ к видео - смотрит и сразу же на практике работает с отчетом. Если возникают вопросы - то назначаем встречу и пользователь приходит с готовыми вопросами и опытом. Этот процесс экономит кучу времени.

Пример скринкаста по прогнозной модели выручки для компании Y (саммери написано AI ассистентом, правки внесены мной чтобы скрыть детали и цифры для публикации)

Смотрю аналитику по спикерам в разрезе talk time (общее время разговора во время встречи). После встреч где выступаю мало - анализирую почему так произошло, насколько для меня была ценна эта встреча и стоит ли в будущем ходить на такие встречи. Если презентовывал продукт или отчет, то смотрю какая доля разговоров пришла на других участников - кто был активнее, кто пассивнее. К тем кто не участвовал в дискуссии во время презентации потом отдельно могу прийти и задать вопросы.

Fireflies формирует и сохраняет в одном месте:

• видео со встречи
• звуковую дорожку
• для Zoom - все комментарии из чата конференции
• весь разговор в текстовом формате
• собирает саммери по встрече (можно редактировать)
• собирает структуру встречи с таймкодами, внутри сервиса есть проигрыватель - можно кликать по таймкодам и перемещаться внутри видео встречи
• в пару кликов можно открыть доступ ко всей собранной информации другим пользователям
• если настроить синхронизацию с Notion, то саммери встреч будут туда транслироваться с сохранением формата текста как в сервисе

По моим наблюдениям, чем лучше организована встреча, чем лучше готовы участники - тем лучше результаты у AI ассистента.

Сложная встреча между командами из разных направлений, команды готовились, на встрече обсуждались сложные технические вопросы - в саммери по встречи ни добавил ни одной правки. Отдельно написали и согласовали дальнейшие задачи после встречи (за рамками саммери). Сервис закрыл 80 процентов потребностей по встрече.

Планерка на которой обсуждались разные проекты и задачи. Сервис выдает по таким встречам общие саммери, не попадая в тематики обсуждения. Нужно саммери редактировать, чтобы использовать. Такой тип встреч использую для синхронизации команды по задачам (на планерке пишем комментарии в задачах) поэтому саммери не требуются, проблемы нет.

AI ассистент помогает в организации и проведении встречи, но не заменяет

• организатора и хорошую организацию встречи
• ведущего на встрече
• фиксацию важных моментов, пометок, задач итд. По результатам будет саммери, но все же советую по ходу встречи вести заметки, чтобы потом синхронизироваться с саммери и внести в нее правки если потребуется

По теме организации и проведении встреч у меня есть отдельная статья - если интересно можете прочитать ее

Fireflies стал для меня отличным вторым пилотом при проведении онлайн встреч, помогает писать саммери, хранить записи в одном месте, анализировать встречи.