Лонгрид о создании бота @dstat_bot, который экономит время всем, кроме его создателя.
Идея
Работа в рекламных агентствах иногда бывает очень скучной, особенно в период тендеров: необходимо анализировать потенциального клиента и его конкурентов в digital. В частности, анализ часто затрагивает социальные сети.
Одним из примеров такой нудной, но необходимой работы по анализу конкурентов, является сбор ссылок на социальные сети брендов с последующим их анализом:
— зайти на сайт;
— найти иконки социальных сетей в шапке или в подвале страницы, если их нет, открыть нужную социальную сеть и сделать поиск там.
Затем эти ссылки необходимо внести в системы аналитики, которые соберут данные и через некоторое время выдадут результат.
Необходимые ссылки и цифры складываются в таблицу, по которой компетентный сотрудник уже делает анализ и пишет выводы.
В общем, скукота, которую обычно отдают стажерам, джуниорам, помощникам или другим усидчивым людям, находящимся в прямом подчинении.
А что, если это автоматизировать? Собирать ссылки на соцсети с сайтов — не такая сложная задача.
Так подумал я и приступил к написанию своего первого парсера на Python. Тестировал на 12 тысячах доменах крупных брендов, представленных в России. Хорошо написанные сайты даже на примитивно написанном коде парсера выдавали ошибку примерно в 2,5% запросов. Это было ОК.
Затем пошла очередь социальных сетей: сбор количества подписчиков, постов, какой-то подсчёт показателей активности. Где-то просто парсинг HTML, где-то подключение по API. И вот в очередном «print» получается желанный json:
MVP (минимально жизнеспособный продукт)
Вряд ли пользователям сервиса будет удобно получать информацию в виде JSON!
На ум пришел только один вариант решения безынтерфейсного общения с пользователем — чат-бот, где все делается текстовыми командами, а еще лучше вообще без них: пусть работает по бесконечному циклу «просто введи ссылку и получи результат»:
В таком виде это было отдано в чат студентов «Академии коммуникаций Wordshop», где я преподавал. Ребятам и девчатам инструмент зашёл сразу: бесплатно, быстро и удобно. А в меня посыпались первые ошибки и проблемы, потому что анализировать начали не дорогие, хорошо сделанные сайты, а всё подряд.
Пару недель я почти каждый вечер проводил за чтением логов, исправлением и доработкой основной функциональности: корректно находить ссылки на социальные сети и выдавать информацию по ним.
А еще правил вывод информации до понятного обычному человеку:
Все равно были вопросы, поэтому пришлось сделать команду /help с пояснениями и возможность задать вопрос напрямую через /question.
Первая 1000 пользователей
Несколько анонсов и взрывной рост!
Нет, взрывного роста не случилось, с пиками, приходящимися на анонсы лидеров мнений за 10 дней, чат-бот набрал первую 1000 пользователей.
Несмотря на просьбы порекомендовать бота в каждом втором сообщении от него, обычные пользователи этого практически не делали.
Пришлось немножко поднажать и сделать анонс в тематическом Telegram-канале…
+1500 новых пользователей за сутки
Представляете, как объемы их запросов расширили список доработок? А количество пользователей все растёт и появляются все новые и новые проблемы.
Например, пришлось сделать распознавание @username — как ссылки на Instagram-аккаунт!
Везде было написано: «Введите ссылку на сайт:», но пользователи упорно вписывали @username, ожидая получить информацию по Instagrma-профилю.
На пару недель вечерняя разработка новых фишек была заморожена. Все время тратилось на цикл «лог → воспроизведение ошибки → исправление ошибки», при этом бОльшая часть проблем возникала по вине разработчиков сайтов: ошибки в кодировке страниц, медленный отклик, плохие ссылки на соцсети (как вам вариант с заменой «/» на «\» в ссылке типа https:\\vk.com\publicname ?).
Еще пользователи часто ошибаются в ссылках или пытаются проанализировать сайты, на которых нет ссылки ни на одну соцсеть!
На момент публикации поста бОльшая часть проблем устранена, и пользователей бота ждут только новые фишки.
Как мотивировать пользователей рекомендовать?
В сервисе появились фанаты: они делали десятки запросов в сутки.
Прямо так и начинали часов в 11–12 вечера, а заканчивали в 5–6 утра, отсыпались и снова начинали работу, но ни один из них в своих социальных сетях не порекомендовал бесплатный инструмент.
Поэтому пришлось применить некоторые ограничительные меры.
Как думаете, что в первую очередь стали делать пользователи?
Правильно, брать смартфоны у своих вторых половинок, коллег, друзей, знакомых и продолжать свои изыскания.
Я понимал, что в СНГ за SaaS не принято платить, но чтобы даже не делились и не рекомендовали...
Увы, бесплатное люди не ценят, а подобные pet-project — это скорее хобби по созданию инструментов, упрощающих собственные рабочие процессы, чем возможность перехода к монетизации в том или ином виде.
Что умеет бот сегодня?
- Находит ссылки на популярные соцсети на сайте, заходит на них и выдает основные показатели.
- Умеет разворачивать цепочки ссылок: например, пользователь вводит Instagram, там есть ссылка на сайт, а на сайте есть ссылки на остальные соцсети — бот пройдет и найдет все.
- Анализирует соцдем и географию подписчиков сообществ «ВКонтакте».
- Анализирует топ-постов «ВКонтакте» за прошлый месяц и делает эстимацию рекламного бюджета, потраченного на продвижение открытых постов.
- Выдает ссылку на активные объявления в Facebook и Instagram.
Пример ответа бота сегодня:
Как итог
Python удивительно простой и легкий в усвоении язык, огромное спасибо Дмитрию Родину и его курсу по Python, который я прошел около года назад.
Часть бота, которая взаимодействует с пользователями, была сделана на классном и очень гибком конструкторе чат-ботов — Salebot.
Спасибо всем, кто шерил и шерит бота в своих социальных сетях: Петр Костюков даже видео снял, а первые 500 пользователей пришли от Андрея Фрольченкова,
Отдельное спасибо Максиму Куликову — одному из первых пользователей, по итогам его комментариев бот стал выглядеть значительно дружелюбнее.
Отсутствие прямой монетизации меня не демотивировало, и я все с таким же энтузиазмом в свободную минуту захожу в логи и правлю баги, а периодически нахожу несколько часов на внедрение новых показателей и фич.
Круто!
Про монетизацию: есть сервис с подобной идеей у Анастасии Юговой, он анализирует страницы и группы вконтакте.
Используют в качестве лидмагнита, бесплатной ценности - затем предлагают воспользоваться другими их услугами /продуктами/ приглашают на мероприятия.
то есть этот сервис решает задачи сбора базы и увеличения лояльности аудитории)
успехов вам, побольше реализованных идей и вдохновения))
Посмотрел, у меня запланировано примерно такое же – рекомендации и больше пояснений.
Полезная вещь. Обратите внимание, что в facebook подписчики перепутаны с лайками сообщества.
Правильнее переформулировать или изменить показатель?
Никогда не сталкивался с принципиально различающимися показателями (типа подписчиков много больше или много меньше, чем лайков у страницы).
Константин, проверьте мой сайт viasun.ru. Относительно FB у меня 517 подписчиков и 300 лайков, так бывает.
Заменил на "Нравится". Не уверен, конечно, что так правильно с т.з. унификации, но корректнее будет точно.
Мне это не нужно, но просто спасибо)
Если есть способ пользоваться продуктом бесплатно, то люди пойдут самым простым способом.
Получается у людей которые програмирование не знают(или знают минимально) есть идеи всяких парсеров и полезных инструментов. Люди которые у которых навыки програмирования есть, этих идей нет. А ведь иногда хочется просто написать какого-то бота ради саморазвития, а идей нет.
Часто да, но это не проблема, а лишь следствие специализации. Я не то что на гитхаб код выкладывать стесняюсь, его знакомым разработчикам показывать нельзя, настолько там все плохо даже по моим ощущениям.
Код многих "професиональных" разработчиков нельзя никому показывать) Часто бывает мысль написать какой то инструмент, но думаешь - "та он никому не надо будет", а потом через некоторое время вижу, появился сервис который это выполняет эти задачи и это людям реально нужно
а у меня наоборот - идей куча, а технически только обучаюсь!!! )))
Текущий список поддерживаемых платформ:
✅ Facebook
✅ Instagram
✅ YouTube
✅ Вконтакте
✅ Одноклассники
✅ TikTok
✅ Tripadvisor
✅ Дзен.Яндекс
✅ Apple App Store
✅ Google Play
Супер! Какое среднее число активных пользователей в сутки? Планируешь ли популяризовать бота не только в СНГ?
По среднему плохо считать: в выходные и по понедельникам почти по нулям – несколько сотен запросов, в начале месяца – локальные пики в тысячи запросов, все логично в целом.
Локализовать бота легко, а вот зачем – не понимаю. Это простой относительно скрипт/инструмент, который не может стоить денег.
Где хостили бек?
https://cloud.google.com/
Комментарий недоступен
1) Не долго думал об этом, поскольку это экспресс-анализ, то убрать, чтобы сократить объем сообщения – логичный шаг. Пустые строки – это разделитель между соцсетями.
2) domainname.com – превью и универсальности мало для соцсетей, на мой взгляд удобнее, если пример можно ввести и получить живой результат.
Комментарий недоступен
Это не то, как работает бот сейчас – это ранняя dev-версия)
Зависит от названия вашего сайта)
Комментарий недоступен
Если дочитать статью до конца, то можно увидеть как это сейчас работает: "Пример ответа бота сегодня:")
Комментарий недоступен
Комментарий недоступен
Я бы тоже, но идея в унификации: "Основная ссылка" есть в FB, IG, VK и будет в TWI, OK, TikTok, Яндекс.Дзен
Комментарий недоступен
Пушка
Комментарий недоступен
Писать хорошую автоматическую проверку публикации для всех соцсетей часа 4) их я лучше потрачу на улучшения, а пока это в ручном режиме, а работает почти также, как вы описали)
Комментарий недоступен
Спасибо
Спасибо за инструмент. Я диджитал маркетолог, с упором на упаковку проекта. Сервис оhень нужен, тк сам составляю такие карты ссылок. Покажите пожалуйста в боте примеры поиковой выдаhи, примеры сайтов и как с ботом работать