Создание авто-обновляемого ИИ-эксперта на базе Телеграм канала

Привет!

Мы с командой с большим интересом следим за таким направлением использования ИИ, как персональный бизнес-аналитик, и постоянно проводим собственные эксперименты. Особенно понравились пара статьей на эту тему: статья Дениса Смирнова, описывающая общий подход, и недавняя статья Александра Мальцева, описывающая продвинутые технические приёмы.

Меня зацепила идея превращения ИИ в «кофаундера», способного критиковать, задавать острые и неудобные вопросы, помогать выявлять «слепые зоны» и брать на себя рутину; и впечатлила демонстрация того, как можно такого кофаундера реализовать, используя ИИ для структурирования и анализа огромных объемов информации из Telegram-каналов, превращая их в личную базу знаний и таким образом по сути “беря в команду“ понравившихся экспертов.

Эти статьи не просто подтвердили правильность выбранного нами направления исследования интеграции Телеграма и ИИ в поисках эффективных бизнес-решений, но и подтолкнули к важному осознанию: настоящая сила ИИ как помощника или «кофаундера» проявляется тогда, когда он оперирует специфическими, актуальными и глубокими знаниями, основанными не на обобщенных данных по умолчанию, а на реальном опыте и инсайтах, которые зачастую скрыты именно в экспертных Telegram-каналах. Мальцев показал классный PoC (Proof of Concept), как можно собирать контент из сотен каналов и использовать его для получения качественно иных, более глубоких ответов от ИИ. А поскольку наш продукт уже умел автоматизировать некоторые рутинные задачи, необходимые для этого, мы решили внести кое-какие улучшения и сделать это одним из полноценных сценариев использования нашей системы.

Я работаю над Junction Bot с 2017 года, и все эти годы нашей целью было создание надежного инструмента для автоматизации работы с контентом Telegram. Начинали мы с основ: автоматической пересылки сообщений, агрегации новостных лент, фильтрации контента по разным критериям (ключевые слова, типы медиа, реакции), копирования истории сообщений. Сейчас ботом ежемесячно пользуются более 17 000 человек, а по отзывам наших пользователей, это самый богатый по функционалу и надежный инструмент на рынке с поддержкой, достойной даже B2B продукта.

Многие из наших пользователей уже используют Junction Bot именно для того, чтобы собирать информацию из сотен каналов, создавая свою личную ленту новостей или базу данных. Мы давно уже добавили ИИ обработку, позволяющую применять нейронные сети для базовой работы с контентом (оптимизация, переписывание, перевод).

Но теперь мы видим, что Junction Bot может стать еще более мощным инструментом, интегрируясь в процесс «обучения» вашего персонального ИИ-помощника на уникальных данных.

Итак, концепция проста: чтобы ваш ИИ-помощник (будь то ChatGPT или другая модель) давал ценные, специфичные и применимые именно к вашей области ответы, ему нужен соответствующий контекст и набор знаний. И где найти более актуальные и глубокие знания по множеству профессиональных тем, чем в экспертных Telegram-каналах?

В вышеупомянутой статье описан подход, который включает ручной «Экспорт истории чата» из Telegram с последующей конвертацией и загрузкой файлов. Для поддержания актуальности базы этот процесс нужно повторять еженедельно. Junction Bot берет на себя именно эту самую трудоемкую часть процесса: регулярный автоматический сбор и управление контентом из тех самых каналов, которые вы назначите источниками ценной экспертизы. Вы можете:

Таким образом, с помощью Junction Bot вы автоматизированно формируете тот самый «экспертный контент», который и позволяет получить от ИИ качественно иные, более глубокие ответы. Но для работы с такими инструментами, как NotebookLM, не хватает одной маленькой детали: контент нужно выгрузить за пределы Телеграма.

Пока мы обсуждали только работу с контентом внутри Телеграм. Для решения задачи с ИИ-экспертами нам понадобится загрузить контент в подходящий ИИ-инструмент (например, NotebookLM) и настроить автоматическое обновление базы знаний по мере выхода нового контента. Для этого мы добавили функционал по автоматическому переносу контента канала в Google Doc с авто-обновлением. То есть мы используем Google диск в качестве постоянно пополняющейся базы данных, а NotebookLM – в качестве исследовательского и аналитического инструмента.

Также, сразу оговоримся, что Junction Bot - платный продукт. Если вы готовы некоторые шаги делать вручную (например, вручную выгружать старые сообщения из Телеграма и загружать их в ИИ вручную, как описано в статье Александра), вам подойдет самый простой тариф.

Итак, приступим к делу. После того как вы определились с экспертами, которых вы «клонируете» себе в команду, нужно перенести их опыт из Телеграма на Google диск. Я опишу действия на примере одного канала, а вам нужно будет повторить эту операцию для каждого канала, который вы добавляете себе в базу знаний. Для каждого канала настройку нужно провести только один раз, далее система будет работать автоматически.

Для начала используйте функцию Junction Bot по копированию истории канала. В настройках укажите, что нужно загружать на Google диск только текстовый контент (важно отметить, что сейчас мы фокусируемся преимущественно на текстовом контенте, медиа и другие типы также могут быть выгружены, но для нашего сценария не нужны). Также выключите публикацию в канал-назначение - это ускорит процесс, ведь для наших целей достаточно просто перенести весь контент на облачный диск без повторной публикации в Телеграм.

Бот создаст на вашем облачном диске папку Junction Bot и в ней папку с названием канала. В ней будет Google Doc с текстами из канала. Если тексты не влезут в один документ (у NotebookLM есть ограничение на максимальный размер документа), то система создаст несколько.

После того как весь канал будет обработан, зайдите в настройки пересылки и включите передачу новых сообщений из этого канала.

Отныне новые сообщения, выходящие в канале, будут автоматически добавляться к документу в Google Docs. Это полностью автоматизирует процесс сбора нового контента и заменяет необходимость еженедельно делать ручной экспорт истории из Телеграма и загружать новые файлы в NotebookLM.

Важный нюанс: при достижении максимального размера документа в Google Docs будет создан новый документ. Поэтому если вы долго используете один и тот же проект в NotebookLM, хорошо периодически добавлять в источники появившиеся новые файлы.

Шаг 3. Наслаждаемся личным ИИ-экспертом

Бот собрал и подготовил для вас само-обновляющийся массив экспертных данных в Google Docs, теперь вы можете использовать этот контент как основу для работы вашего ИИ-помощника. Это не совсем "обучение" в техническом смысле (как fine-tuning модели), поэтому я и использую везде кавычки. Это скорее предоставление ИИ специфического контекста и базы знаний, на которую он будет опираться при ответах на ваши вопросы.

Заходим в NotebookLM и в настройках проекта выбираем полученные документы из Google Docs в качестве источников. И, разумеется, хорошо добавить в источники документы с вашими внутренними релевантными бизнес-данными.

Ваш личный эксперт готов!

Ваш ИИ-помощник, получивший доступ к этой специфической базе данных из экспертных Telegram-каналов и ваших внутренних документов, сможет давать качественно иные, более глубокие и актуальные ответы. Опираясь на этот контекст, он сможет:

Именно этот подход позволяет превратить ИИ из простого генератора текста, использующего обобщенные знания, в настоящего партнера. Такой ИИ-эксперт не просто перефразирует общедоступную информацию, а помогает извлекать инсайты и принимать решения, опираясь на опыт тех профессионалов из вашей области, которым вы доверяете, и ваши специфические данные.

Переходя в привычную для нас айтишников терминологию, если в статье коллеги Мальцева приводится PoC, здесь мы можем уже говорить об MVP (Minimum Viable Product) для данного сценария. Мы с командой фанаты такого использования ИИ, поэтому активно исследуем эту область применения Junction Bot.

Пожалуйста, помните, что это экспериментальный функционал. Он встроен в довольно сложный и продвинутый продукт, которым является Junction Bot, и некоторые моменты в использовании могут оказаться не очевидными с первого раза. Тем не менее мы всегда готовы оказать помощь. Пишите мне здесь или в нашу дружелюбную поддержку.

Оставляйте отзывы о своём опыте работы с этим функционалом и свои пожелания по дальнейшему его развитию! А за нашими обновлениями следите в нашем Телеграм канале.