Парсинг сайтов в 2023 году или давайте бахнем рейтинг как на Кинопоиске
У нас на сопровождении есть один интернет-магазин по продаже крафтового пива в СПб, но т.к. алкогольная продукция запрещена в рекламе Яндекс Директ или ВКонтакте, то остается всего один канал привлечения новых посетителей на сайт это поисковое продвижение или SEO.
Каждый месяц мы находим ошибки и понемногу улучшаем сайт, позиции в поиске растут, вроде бы все в порядке, но примерно в 20% случаях нам попадаются клиенты, которые за любую движуху и бодро накидывают новые идеи и тут как раз был такой случай.
На одной из планерок с директором начали обсуждать, а как бы еще улучшить жизнь покупателей т.к. с привлечением новых есть вопросы, то давайте удерживать всех, кто решил к нам зайти из поиска.
Может бахнем рейтинг и отзывы на сайте, предложил директор и не такие как в 95% магазинах либо накрученные, либо совсем без рейтинга, а настоящие и полезные для любителей крафта.
Оказывается, есть социальная сеть untappd.com для любителей пива, можно подписаться на любимые сорта и находить бары, где они есть сейчас, просто следить за пивными блогерами и ставить оценки и отзывами разным брендам.
Так вот, оказывается многие покупатели, а это владельцы баров в СПб, прежде чем заказать что-то из новинок, идут на untappd сравнивают рейтинги и отзывы и только потом берут небольшую партию.
Чтож, а давайте прикрутим к нашим товарам рейтинг с “тапка” чтобы покупатели не ходили туда-сюда, а могли сразу ориентироваться на оценки в каталоге, я еще сразу захотел тянуть отзывы, фото покупателей и вот это вот все, но через пару дней я был мягко сказать разочарован.
Оказывается, для доступа к рейтингу и отзывам нужно купить платную подписку к API и все бы ничего, но клиентам из России она теперь просто недоступна, не говоря уж о сложностях с её оплатой.
Подумали и решили аккуратненько парсить “тапок”, это значит специальный бот ищет пиво с таким же названием как в нашем каталоге, если оно совпадет и рейтинг больше 0, то забирает его значение рейтинга и обновляет его на нашем сайте. Первые пару версий были совсем сырые, постоянно что-то не работало, не совпадали названия, вместо рейтинга приходил нули, но уже через недельку мы научились парсить несколько тысяч позиций и обновлять рейтинг раз в неделю.
Дальше больше, запустили несколько обходов “тапка” одновременно, теперь на обновление одного товара из каталога уходит всего 6 секунд, а рейтинг всех товаров обновляется раз в неделю. Клиент доволен, т.к. время нахождения на сайте выросло на 12%, а также подросли продажи новинок и самое главное покупателям не приходится постоянно проверять рейтинг где-то еще, все в одном месте.
Мы получили клиента на постоянное сопровождение и теперь каждый месяц вручную сводим новинки в каталоге и “тапке” (не придумали пока как автоматизировать) и продолжаем обновлять рейтинг пенного, несмотря на ограничения для компаний из России.
Сейчас в задаче стоит запилить ТОП-10 товаров по популярности в этом месяце, как на Netflix или Кинопоиске, посмотрим, что из этого выйдет.
Веду телеграм с кейсам агентства и небольшого стартапа, где от 80% действий ничего не меняется или становится хуже, все как в жизни.