Боты впервые обогнали людей по числу веб-запросов к страницам
3 июня глава Cloudflare Мэтью Принс написал в X почти растерянное «Welp». Боты впервые в истории интернета обогнали людей по числу запросов к веб-страницам — и случилось это раньше, чем прогнозировал он сам.
Цифры с Cloudflare Radar: около 57% HTTP-запросов к HTML-страницам теперь делают машины, людям остаётся примерно 43%. Cloudflare пропускает через себя около пятой части всего веба, так что выборка серьёзная. Ещё пару лет назад, до бума ИИ, боты держали около 20%. На SXSW в марте Принс обещал этот перелом к 2027 году — и сам удивился, что промахнулся почти на полтора года.
Прежде чем паниковать — важная оговорка, которую сделал и сам Принс. Это метрика запросов, а не внимания. По времени в приложениях, стримах и бесконечных лентах люди по-прежнему впереди с большим отрывом. Цифра скакнула не потому, что людей стало меньше, а потому, что у каждого человека теперь есть агент. Принс приводит пример: вы ищете камеру и заходите на пять сайтов — ваш ИИ-агент за то же задание обходит пять тысяч. Сами данные он назвал «грязноватыми»: точную дату перехода не назвать, но «мы уже явно на той стороне».
И вот тут — главное для продукта, а не для заголовка новости.
Если больше половины обращений к вашим страницам делает машина, у вашего продукта появился пользователь, которого вы не проектировали. Агент не видит ваш аккуратный интерфейс. Он читает сырой HTML: структуру, разметку, текст. Кнопка, которая человеку «очевидна», для агента просто не существует, если она не размечена. И решение всё чаще проходит через этого агента: он сравнивает, фильтрует, отсекает — а человек видит уже готовый результат. Не прочитал вас агент на этапе сравнения — до человека вы уже не дойдёте.
Что с этим делать:
- Перестать считать, что весь трафик к страницам — это люди. Ваша аналитика уже наполовину про машины, которых вы плохо видите.
- Проверить, способен ли агент прочитать ваш продукт без вашего интерфейса: структуру, цены, доступные действия. Откройте свою страницу как сырой текст — то, что увидите, и видит агент.
- Относиться к агенту как к пользователю, для которого нужно проектировать, а не только как к нагрузке, которую нужно блокировать. (Принс заодно продвигает идею «pay to crawl», но это уже отдельный разговор.)
Это не «интернет захватили роботы». Это про то, что у вашего продукта появился третий пользователь — после человека и разработчика. И он уже большинство по запросам. Вопрос не в том, придёт ли он. Он пришёл. Вопрос — что он у вас увидит.