Хакатон SberCloud
для разработчиков
До конца регистрации:
07
:
01
:
12
:
11
Подробнее
Торговля
Andrey Shevtsov
1303

Как узнать какие услуги актуальны в вашем городе

Привет, VC! Вообще, мой основной профиль - это поиск товаров с активным спросом. Однако, очень часто ко мне обращались с вопросом: а можно ли сделать что-то подобное в сфере услуг? В общем, в один момент я подумал и, как вариант, предлагаю такое решение!

В закладки

Спрос - что это и как интерпретировать

По опыту аналитики в товарах, смею предположить, что многие не верно будут понимать слово "спрос".

Спрос - это когда спрашивают. К примеру, вы стоите на рынке, продаете овощи, фрукты, т.к. это у вас самый ходовой товар. Тут к вам подходит покупатель и спрашивает: есть ли Авокадо? Это и есть - спрос!

Спрос не отображает объемы потребления товара или услуги. К примеру, в СССР какие товары пользовались спросом? Правильно, дефицитные, т.е. те, которые люди не знали где найти и купить по доступной цене.

А то, что было, не спрашивали: покупали и потребляли молча )))

Если вы начинаете бизнес с нуля, то советую стартовать с товаров и услуг, пользующихся максимальным активным спросом. Если он есть - значит есть дефицит.

Многие смотрят на аналитику не внимательно. Им кажется, что дефицитом может быть только какая-то новинка.

Однако, в Москве дефиците сейчас Айфоны 11 (если нужна хорошая цена, а не за 130 тыс. в сотовых магазинах), в дефиците зимняя резина. На свой Форд, конечно, может быть что и подберете, но если нужно что-то более редкое по сносной цене, то придется поискать.

В общем, в дефиците все, что пользуется непредсказуемым спросом или поставки чего не отлажены - это как раз рай для малого бизнеса и начинающих предпринимателей.

Если же вы успешно конкурируете на рынке, от клиентов нет отбоя, то рекомендую смотреть уже не на спрос, а на то, что стабильно потребляют на вашем рынке в наибольшем объеме - на таких товарах выстраивается системный бизнес.

Как я собрал имеющиеся услуги

За основу взял раздел Авито - услуги Москвы:

Открыл ContentDownloader, приступил к настройкам парсера и первым попыткам что-то из него вытащить.

Надо сказать, что периодически мне надо вытащить информацию, например, для анализа конкретного ассортимента товаров. Я парсил Лерой, Ашан, Вайлдберис, Озон, но вот Авито оказался крепким орешком!

Мои прокси, которые стоят под сервера для сбора товаров, не подошли - сразу бан.

Пришлось покупать новых специально под Авито. Брал как всегда на ProxySale.

С настройками сильно заморачиваться не стал, более менее вник в структуру ссылок, и попытался собрать нужные с объявлениями на услуги:

Настройки сбора ссылок такие:

Добавлять ссылки только с predlozheniya_uslug и cd=1.

Не добавлять ссылки, содержащие последовательность от 7 до 12 цифр: зафильтровал через регулярное выражение _\d{7,12} - это чтобы ссылки на объявления не лезли в очередь на парсинг.

Ссылки результата фильтровал по аналогии:

​Настройки границ парсера - простейшие

Границы парсинга границ (заголовки объявлений):

<div class="sticky-header-prop sticky-header-title"> </div>

Библиотека - Win

С обходом блокировки заморачиваться не стал, рискнул покупными прокси и выставил от 1 до 5 секунд на запросы.

В 20 потоков на сбор ~ 140 тыс. объявлений ушло 5 дней.

Обработка результатов

Потом начал думать что делать мне теперь с этим делать...

В принципе, можно было забить на нестандартные заголовки, например, "ремонт" (чего - не понятно), перечисление услуг через запятую, вопросы обработки объявлений типа "ремонт квартиры очень качество русские".

Но решил включить максималиста:

1. Удалил все явные повторы. Для этого использовал программу Keywordkeeper.

2. Опять же в AkelPad через регулярные выражения удалил все заголовки, состоящие из одного слова

3. Запятые заменил на пробелы и через регулярное выражение удалил все спец.символы [.\/()-+-"'»,«=#”&%№;?]

4. Сгенерировал своей утилитой все вариации заголовков. Например, чтобы получить из фразы "ремонт квартир утюгов" все вариации из этих 4 слов: "ремонт квартир", "ремонт утюгов", "квартир утюгов". Если слов больше, то все варианции из 3-4 слов и т.д. Однако, тоже самое при желание можно сделать и через KeyCollector через функцию "Анализ групп".

5. Прочекал по количеству запросов в кавычках по заданному городу.

Получилось примерно такое:

В общем, подход не идеальный, еще есть мусор. Например, не понятно в запросах по переводчику: имеется ввиду человек или нет. Но, в целом, такой подход может дать представление по услугам, востребованным у вас!

Если интересно сделать такую аналитику для себя, то вот контакты:

Группы для общения по теме поиска ниш и старта с нуля:

Мой личный контакт WhatsApp, Viber, Telegram: +79268508136

Спасибо!

{ "author_name": "Andrey Shevtsov", "author_type": "self", "tags": [], "comments": 11, "likes": 0, "favorites": 51, "is_advertisement": false, "subsite_label": "trade", "id": 91922, "is_wide": false, "is_ugc": true, "date": "Sun, 10 Nov 2019 21:44:32 +0300", "is_special": false }
Объявление на vc.ru Отключить рекламу
0
11 комментариев
Популярные
По порядку
Написать комментарий...
1

Воу-воу!
Авито парсится отлично, только надо расчехлять php/phyton и долбить регулярками, с паузами.
Свой же кантентдаунлоадер с рефссылкой(!) оставьте нубам.

У меня на авите целый зоопарк, огромные акки с самообновляйкой крутятся. Где, конечно, можно крутить ;) я же не нарушаю правила.

Ответить
0

Я не программист, для моих нужд этого достаточно )))

Ответить
0

Ну так, наверное, в таком случае, и вредные советы не следует раздавать?
Парсить надо так, чтобы понимал, что делаешь, чтобы не навредить ресурсу, и так далее.

И никаких рефссылок, это некрасиво.

Ответить
0

Это не рефка, а просто внутренняя ссылка )))

Ответить
0

Извиняюсь, с мобилы не так хорошо видно, как с компа. Беру слова про рефссылку обратно.
Но продукт все равно гвно. Медленный, как старая черепаха

Ответить
0

Да я же не рекламирую его. Есть плюсы-минусы. Я его юзаю обычно, чтобы каталоги с магазинов передирать. Иногда.

Ответить
0

Плюсов у подобного софта нет вообще.
Парсер на php через curl, без многопоточки, пишется неприлично быстро.
В крайнем случае, всегда есть sitemap.xml =)

Ответить
1

Ну не зря значит выложил материал, спасибо за наводку)))

Ответить
0

Если понимаете, что такое регулярки - понравится.
Анализ DOM же, как могут посоветовать другие, затормаживает процесс парсинга на каждой запрашиваемой странице.

Ответить
1

Да как же не знаю, если про них в статье и писал ))))

Ответить
1

Кто напишет парсер спроса на фр. и арабском для Марокко ?

Ответить

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарии

null