Слепок Браузера: как поймать вредоносный трафик и не упустить кота за хвост
Привет, любители бороться с ботами и другими интернет-пакостниками! Сегодня мы погрузимся в таинственный мир слепков браузеров и научимся, как с их помощью выявлять вредоносный трафик. А еще, мы предоставим вам ссылку, по которой можно посмотреть слепок своего браузера и любой бот-программы. Готовы? Тогда вперед!
Меня зовут Григорий Мельников, и я – тот самый человек, который придумал KillBot, онлайн-сервис по выявлению ботов. Мы тут не просто так, а продолжаем цикл статей, посвященных проблемам качества трафика. Так что пристегните ремни, будет весело!
Стандартные методы фильтрации трафика: что они, как и почему
Обычно для фильтрации трафика используют методы, которые можно назвать «черный ящик с набором правил и цифрой вероятности». Звучит как гадание на кофейной гуще, не правда ли? Прозрачность, гибкость и возможность исправлять ошибки – вот три кита, на которых должен строиться антифрод.
Вот основные методы борьбы с вредоносным трафиком и их недостатки:
- Анализ фингерпринта визита: Словно дедушкины методы – устаревшие и бесполезные. Фингерпринты реальных устройств можно купить, как пирожки в булочной.
- Анализ IP-адреса на спам: Снова провал. Боты используют мобильные прокси с ротацией IP каждые 2-10 минут.
- Поведенческий анализ: Работает, если учитывать оплату реальными деньгам, но не для случая РСЯ. И вот вам пример: как боты кликают по скрытым ссылкам в Яндекс Директ.
- ИИ-анализ поведения пользователя: Не вариант. Современные боты решают капчу быстрее, чем вы успеете сказать «капча».
Боты как братья: их объединяет общий предок
Поэтому единственный реальный метод борьбы с ботами - это поиск того, что их всех объединяет. Если мы найдём что-то, что объединяет всех этих "братьев", то весь бот-легион уйдёт под фильтр.
Прочитайте мою другую статью: кто генерирует ботов, каким софтом и зачем.
Интернет-ботов объединяет программа, которая их порождает. Например, все пользователи браузера Opera могут быть "ботами", потому что используют один и тот же браузер. Это не шутка! Впрочем, давайте взглянем на это с научной точки зрения.
Каждый софт в интернете имеет свой слепок - будь это браузер, бот, чекер или любая другая программа. Проверить слепок программы можно с помощью специального чекера - вот он: чекер слепков.
Если перейти по ссылке, то увидите число - это слепок вашего браузера. При этом слепок бот-программы, которая автоматизирует действия браузера Chrome, будет отличаться, несмотря на все попытки бота подменить фингерпринт и добавить шумы.
Посмотрите видео с демонстрацией слепков реальных браузеров и бот программ:
Антифрод с использованием слепка браузера: пусть боты нервно курят в сторонке
Алгоритм прост, как дважды два:
- Строим слепок браузера.
- Смотрим, кому принадлежит слепок:
-- Если совпадает с настоящим браузером – поздравляем, это живой человек!
-- Если слепок не системный, но за ним есть факты оплат – добавляем в настоящие браузеры.
-- Если слепка нет среди известных браузеров и нет живых конверсий – это бот.
-- Если слепок есть в списке ботов – это точно бот.
Такой подход даёт нам безграничный контроль над трафиком:
- Трафик за слепком можно проконтролировать вручную (живые конверсии + Яндекс.Вебвизор).
- Слепки без оплат (или по поведению) - это боты.
- Визиты со слепками ботов можно обрабатывать по-другому: не учитывать конверсии, блокировать, перенаправлять на другую страницу и т.п.
- Если за слепком видны и пользователи, и боты, можно применить дополнительные меры: показать капчу, 2FA верификацию и т.д.
Заключение
Как видите, борьба с ботами – дело серьёзное, но вполне реальное. В одном из следующих постов я расскажу про уникальный идентификатор устройства DEVICE_ID и приведу кейс по очистке трафика сайта от ботов. Не забудьте подписаться на мой телеграм канал, чтобы не пропустьть пост по цифровой идентификации личности!
это действует не всегда и не против всех, да против дилетантов конечно зайдет, но многие уже научились обходить эти моменты
Здесь акцент именно на подход. Боты будут иметь свой слепок, отличный от настоящего браузера. Сейчас нет ботовского движка, который бы в точности реализовывал все браузерные движки. Движки ботов просто подменяют параметры чтобы быть похожими на нужный браузер - именно факт подмены параметров и выявляется слепком. Есть много рабочих кейсов.