{"id":13579,"url":"\/distributions\/13579\/click?bit=1&hash=fac1e262bacedc292bce698ad3ca818a77bd592caa4fdfa917a7de6d9e68f657","title":"\u0420\u0435\u043a\u043b\u0430\u043c\u043d\u044b\u0439 \u0431\u044e\u0434\u0436\u0435\u0442 \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b\u0438, \u0430 \u0442\u043e\u043b\u043a\u0443 \u043d\u0435\u0442","buttonText":"\u041a\u0430\u043a \u0443 \u043c\u0435\u043d\u044f!","imageUuid":"7b040e27-87ca-5e31-ad48-6ae8b0b1ebed","isPaidAndBannersEnabled":false}
CrypptoCat

Web3 scraping: что это и зачем?

Многие из вас наверняка знают или хотя бы что-то слышали о веб-скрейпинге (от англ. scraping). Даже если нет, то вы точно им занимались, ведь копипаст это, по сути, тоже его разновидность.

Технически же это процесс сбора данных с веб-страниц. Не буду вдаваться в детали, для желающих есть статья в Википедии, а о конкретных решениях можно почитать на Хабре. Сразу оговорюсь, что задача этой статьи не в описании технических деталей работы разных ботов, а в общем знакомстве с самой технологией и возможностями ее применения в веб3.

Короткая история и пару примеров

Скрейпинг появился почти одновременно с World Wide Web, когда в начале 90-х были созданы первые веб-боты, сначала для анализа веса страниц, а позже и для их индексации.

В начале 2000-х были разработаны первые Web API, с помощью которых можно было получить доступ к определенным публичным данным. Сегодня такие решения есть у десятков тысяч продуктов, если не больше. Многие Интернет-ресурсы и базы данных сами предлагают возможность парсинга своих данных, будь-то новостные ресурсы, цифровые архивы или государственные статистические данные.

Но даже если такой возможности нет, можно создать бота, которые соберет публичные данные в нужном вам источнике и без доступного специально для этого интерфейса. Зачем?

Боты для скрейпинга применяются много где. Например, у вас есть свой интернет-магазин автотоваров. Вы, как его владелец, можете быть заинтересованы в том, чтобы отслеживать цены у конкурентов. Это можно сделать вручную, каждый день проверяя их динамику. А можно с помощью парсера, который на выходе предоставит данные в табличке. С помощью него же ваш контент-менеджер может получать описания позиций у конкурентов, в том числе SEO тексты. Насколько это этично – вопрос, в некоторых странах это регулируется законодательно, но сами инструменты есть и развиваются.

Другой пример. Допустим, вы бренд-менеджер или маркетолог. Одной из ваших задач может быть отслеживание упоминаний бренда. Поверхностно это позволяют делать такие инструменты как Гугл Трендс, более продвинуто – Youscan или Mention. Обычно они стоят немалых денег и выдают вам результаты в виде отчета, допустим, раз в день. Такие сервисы используют схожую технологию, хоть и не преследуют целью именно харвестинг (от англ. harvesting – сбор урожая), тоесть сбор данных, их скачивание, а просто трекают упоминания и представляют отчет со ссылками на них.

Для формирования более продвинутых отчетов применяют машинное обучение и искусственный интеллект. Благодаря этому, отчет с упоминаниями приобретает графы, где анализируется тональность этих самых упоминаний. Тоесть вы сразу видите, хорошо или плохо высказался о вашем бренде кто-то в Интернете. Но обработка естественного языка только развивается как технология, поэтому верить таким оценкам на 100% нельзя. Чаще всего они трекают “позитивные” и “негативные” слова, но не понимают, к примеру, иронию. И если охарактеризовать сервис как “замечательный” и поставить оценку 2 из 10, такой робот сломается. Шутка. Но здесь нужна будет более тонкая настройка, парсить в отрыве от других данных такие отзывы не будет иметь смысла.

Web3-скрейпинг

Вы наверняка слышали об идее нового веба – веб3. Если нет, здесь можно детально почитать о том, что это такое. Если очень коротко и просто, это новый виток в развитии всемирной паутины. Он будет основан на принципах децентрализации и приватности, благодаря блокчейну и токенизированной экономике.

Но давайте пока о другом. 2020 год. Карантин. В соцсетях идут войны между инфекционистами, вирусологами, всеми теми, кто за и против вакцинации. Каждая сторона приводит свои аргументы, ссылаясь на свои источники. Что это за источники? Откуда изначально появилась та информация, которая позже стала вирусной?

Вы уже наверное догадались, что с поиском ответов на эти вопросы может помочь скрейпинг. Но есть одна проблема. Из-за большого количества данных в сети, анализировать их невероятно сложно. Получить все данные в режиме реального времени – невозможно. Это далеко не то же самое, что спарсить данные с одного сайта.

И вот здесь родилась идея, как это решить. Некая компания ExordeLabs из Франции, состоящая из программистов и аналитиков данных, придумала использовать для скрейпинга данных блокчейн и идеи упомянутого выше web3. Благодаря децентрализации сети в ней одновременно валидаторами данных будут десятки тысяч узлов, а не отдельно запущенные боты.

Но что заставит их работать вместе и выполнять задачи поиска данных? Здесь мы вспомним о еще одном принципе веб3 – токенизированной экономике. За свою работу валидаторы будут получать токены – криптовалюту EXD. От атак такой протокол будет защищен механизмом консенсуса, а управляться сам протокол будет децентрализованной автономной организацией, где держатели токена будут иметь право голоса.

Также в силу того, что это блокчейн с прозрачной историей транзакций в сети, протокол не сможет скрывать, условно, какие-то результаты из выдачи, а значит не будет подвержен цензуре.

Благодаря всему этому, разрабы пытаются построить сбор данных в реальном времени! Все те же описанные кейсы, но с практически мгновенными результатами. Представьте, что когда только UST начал терять пег к доллару, у вас под рукой был бы инструмент, способный собрать всю публичную инфу на этот счет на любом нужном вам языке. Может там были подсказки к шорту? Выходу из позиций?

Близкий пример. Вы владеете NFT из какой-то коллекции и начинаете видеть FUD вокруг нее. Что делать – продать или оставить? Да, финальное решение в любом случае за человеком, но сам процесс сбора данных упрощается в разы.

В качестве вывода

Зачем весь этот лонгрид? Заинтересованным в скрейпинге данных, как и тем, кто инвестирует в крипту или просто следит за развитием веб3, это может пригодиться. Во-первых, из публичных продуктов этот единственный на данный момент, кто декларирует такую цель. Более того, не просто декларирует, но уже проводит тестирование своего софта, о чем можно узнать детальнее и присоединиться к тесту в Дискорде проекта.

Во-вторых, проект отмечен вниманием самого великого Коинлиста, что добавляет доверия, как минимум, потому, что там аналитики за что-то получают деньги и не забирают к себе в батч всех подряд. В общем, может выйти так, что продукт выстрелит. Зимой обещают TGE, пока идет тестнет можно в нем участвовать с надеждой на возможные награды. Времени почти не требует.

Больше о проекте можно узнать здесь:

0
Комментарии

Комментарий удален модератором

Развернуть ветку
Читать все 0 комментариев
null