Telegram-бот для анализа конкурентов — анализирует соцсети, ищет рекламные объявления

Лонгрид о создании бота @dstat_bot, который экономит время всем, кроме его создателя.

Работа в рекламных агентствах иногда бывает очень скучной, особенно в период тендеров: необходимо анализировать потенциального клиента и его конкурентов в digital. В частности, анализ часто затрагивает социальные сети.

Одним из примеров такой нудной, но необходимой работы по анализу конкурентов, является сбор ссылок на социальные сети брендов с последующим их анализом:

— зайти на сайт;

— найти иконки социальных сетей в шапке или в подвале страницы, если их нет, открыть нужную социальную сеть и сделать поиск там.

Затем эти ссылки необходимо внести в системы аналитики, которые соберут данные и через некоторое время выдадут результат.

Необходимые ссылки и цифры складываются в таблицу, по которой компетентный сотрудник уже делает анализ и пишет выводы.

В общем, скукота, которую обычно отдают стажерам, джуниорам, помощникам или другим усидчивым людям, находящимся в прямом подчинении.

Так подумал я и приступил к написанию своего первого парсера на Python. Тестировал на 12 тысячах доменах крупных брендов, представленных в России. Хорошо написанные сайты даже на примитивно написанном коде парсера выдавали ошибку примерно в 2,5% запросов. Это было ОК.

Затем пошла очередь социальных сетей: сбор количества подписчиков, постов, какой-то подсчёт показателей активности. Где-то просто парсинг HTML, где-то подключение по API. И вот в очередном «print» получается желанный json:

На ум пришел только один вариант решения безынтерфейсного общения с пользователем — чат-бот, где все делается текстовыми командами, а еще лучше вообще без них: пусть работает по бесконечному циклу «просто введи ссылку и получи результат»:

В таком виде это было отдано в чат студентов «Академии коммуникаций Wordshop», где я преподавал. Ребятам и девчатам инструмент зашёл сразу: бесплатно, быстро и удобно. А в меня посыпались первые ошибки и проблемы, потому что анализировать начали не дорогие, хорошо сделанные сайты, а всё подряд.

Пару недель я почти каждый вечер проводил за чтением логов, исправлением и доработкой основной функциональности: корректно находить ссылки на социальные сети и выдавать информацию по ним.

А еще правил вывод информации до понятного обычному человеку:

Все равно были вопросы, поэтому пришлось сделать команду /help с пояснениями и возможность задать вопрос напрямую через /question.

Нет, взрывного роста не случилось, с пиками, приходящимися на анонсы лидеров мнений за 10 дней, чат-бот набрал первую 1000 пользователей.

Несмотря на просьбы порекомендовать бота в каждом втором сообщении от него, обычные пользователи этого практически не делали.

Пришлось немножко поднажать и сделать анонс в тематическом Telegram-канале…

Представляете, как объемы их запросов расширили список доработок? А количество пользователей все растёт и появляются все новые и новые проблемы.

Например, пришлось сделать распознавание @username — как ссылки на Instagram-аккаунт!

На пару недель вечерняя разработка новых фишек была заморожена. Все время тратилось на цикл «лог → воспроизведение ошибки → исправление ошибки», при этом бОльшая часть проблем возникала по вине разработчиков сайтов: ошибки в кодировке страниц, медленный отклик, плохие ссылки на соцсети (как вам вариант с заменой «/» на «\» в ссылке типа https:\\vk.com\publicname ?).

На момент публикации поста бОльшая часть проблем устранена, и пользователей бота ждут только новые фишки.

Прямо так и начинали часов в 11–12 вечера, а заканчивали в 5–6 утра, отсыпались и снова начинали работу, но ни один из них в своих социальных сетях не порекомендовал бесплатный инструмент.

Поэтому пришлось применить некоторые ограничительные меры.

Как думаете, что в первую очередь стали делать пользователи?

Правильно, брать смартфоны у своих вторых половинок, коллег, друзей, знакомых и продолжать свои изыскания.

Увы, бесплатное люди не ценят, а подобные pet-project — это скорее хобби по созданию инструментов, упрощающих собственные рабочие процессы, чем возможность перехода к монетизации в том или ином виде.

Пример ответа бота сегодня:

Python удивительно простой и легкий в усвоении язык, огромное спасибо Дмитрию Родину и его курсу по Python, который я прошел около года назад.

Часть бота, которая взаимодействует с пользователями, была сделана на классном и очень гибком конструкторе чат-ботов — Salebot.

Спасибо всем, кто шерил и шерит бота в своих социальных сетях: Петр Костюков даже видео снял, а первые 500 пользователей пришли от Андрея Фрольченкова,

Отдельное спасибо Максиму Куликову — одному из первых пользователей, по итогам его комментариев бот стал выглядеть значительно дружелюбнее.

Отсутствие прямой монетизации меня не демотивировало, и я все с таким же энтузиазмом в свободную минуту захожу в логи и правлю баги, а периодически нахожу несколько часов на внедрение новых показателей и фич.