Задача на 15 минут. Как она может вылиться в год разработки
5 лет назад к нам приходит клиент и говорит: "Парни, я хочу собирать объявления с сайтов в один клик. Вот у меня список сайтов, на которые рекламируются все, кому не лень. Соберите мне всю информацию в реальном времени. Я готов заплатить за это 30 тысяч рублей."
Как представитель компании-разработчика, чьи продукты постоянно пытаются спарсить или как-то иначе заэксплойтить с помощью ботов, могу сказать, что читать вашу статью грустно и неприятно.
Мы потратили кучу времени и денег на производство продукта, и не хотим, чтобы нас вот так эксплуатировали. Собственно это вопрос не желания даже, а экономики.
Если продукт будут обворовывать (а это именно воровство) - продукт закроется. И вам воровать станет нечего, и пользователям нечем пользоваться, и нам кушать нечего.
Я мог бы зеркальную статью написать о том, как мы боремся с ботами. Она будет почти точно пункт за пунктом повторять все что вы пишите, только с противоположным знаком. Пишите вы со знанием дела.
Благодаря вашей статье еще какие-то ребята справятся запустить ботов.
Предоставляйте платные API по адекватной цене, чтоб обход защиты стоил дороже.
Профит.
Уже обсасывалась проблема много раз.
Все что есть в браузере в html - общее. И эта инфа не является сварованной.
Это как кричать что я дескать начал ездить по городу и фоткать все объявления которые увидел - я вор.
То что вам не нравиться , не равно воровству.
"Не хотим терять прибыль/делиться" , так и пишите
Если продукт будут обворовывать (а это именно воровство) - продукт закроется. И вам воровать станет нечего, и пользователям нечем пользоваться, и нам кушать нечего.
Так это что? Проблемы парсера? Вы закроетесь, на ваше место придут другие и парсить все равно будет что)
Кто сказал, что мы под регистрацией забираем данные? Я против такого подхода + парсинг должен быть ненавязчивым и не блокировать сайт, с которого забирают данные.
И от вы реально думаете, что кто-то прочтёт мою статью и побежит клепать ботов? Вы не уловили основную цель посыла - простая задача на словах является очень простой а на деле сложной и трудоёмкой.
99% читателей просто покивают головой и пойдут дальше. Я не приводил даже примеры кода и прочего. А вся эта информация уже есть в интернете.
Вы наверное удивитесь как много ботов заходит на наши сайты. Гляньте статистику какую-нибудь.
И последнее. Ну будет у вас парсер. Кому он нужен? Вы где клиентов возьмёте? Вы готовы развивать свой бизнес, или как все программисты сделаете пет-проект и бросите?
Программирование - это всего лишь способ достижения своей цели, не более.
А зачем вы продаете клиентам продукт который не зашищен о ботов и парсинга?
Мы потратили кучу времени и денег на производство продукта
вы же не соучредитель, вы заработали на создании, а теперь еще заработаете на допилах от парсинга
лес, санитары, броня, оружие, гонка бесконечна
Да, согласен, теперь и я запущу
Не переживайте вы так. Эта проблема родилась чуть ли не вместе с интернетом. Кто-то создает продукт с самостоятельной ценностью, а кто-то без вложений хочет получить то же самое, не придумав ничего лучше чем тырить у других.
А в итоге страдает конечный потребитель продукта, вынужденный продираться через клаудфлэры и рейт контролы.
Поддерживаю)
бесполезный слив денег для компаний у которых нет своих баз, никакого учёта, а есть только желание что-то стащить и получить денег на халяву не прилагая сил.
То что он закрылся закономерный итог, попробовал бы перепродавать продукты из 5-чки или магнита на своём сайте. Тоже идеальный бизнес-план.
В общем странный пост для хвастовства или передачи опыта, скорее для форума фрилансеров в самый раз.
.