Слепок Браузера: как поймать вредоносный трафик и не упустить кота за хвост
Привет, любители бороться с ботами и другими интернет-пакостниками! Сегодня мы погрузимся в таинственный мир слепков браузеров и научимся, как с их помощью выявлять вредоносный трафик. А еще, мы предоставим вам ссылку, по которой можно посмотреть слепок своего браузера и любой бот-программы. Готовы? Тогда вперед!
Меня зовут Григорий Мельников, и я – тот самый человек, который придумал KillBot, онлайн-сервис по выявлению ботов. Мы тут не просто так, а продолжаем цикл статей, посвященных проблемам качества трафика. Так что пристегните ремни, будет весело!
Стандартные методы фильтрации трафика: что они, как и почему
Обычно для фильтрации трафика используют методы, которые можно назвать «черный ящик с набором правил и цифрой вероятности». Звучит как гадание на кофейной гуще, не правда ли? Прозрачность, гибкость и возможность исправлять ошибки – вот три кита, на которых должен строиться антифрод.
Вот основные методы борьбы с вредоносным трафиком и их недостатки:
- Анализ фингерпринта визита: Словно дедушкины методы – устаревшие и бесполезные. Фингерпринты реальных устройств можно купить, как пирожки в булочной.
- Анализ IP-адреса на спам: Снова провал. Боты используют мобильные прокси с ротацией IP каждые 2-10 минут.
- Поведенческий анализ: Работает, если учитывать оплату реальными деньгам, но не для случая РСЯ. И вот вам пример: как боты кликают по скрытым ссылкам в Яндекс Директ.
- ИИ-анализ поведения пользователя: Не вариант. Современные боты решают капчу быстрее, чем вы успеете сказать «капча».
Боты как братья: их объединяет общий предок
Поэтому единственный реальный метод борьбы с ботами - это поиск того, что их всех объединяет. Если мы найдём что-то, что объединяет всех этих "братьев", то весь бот-легион уйдёт под фильтр.
Прочитайте мою другую статью: кто генерирует ботов, каким софтом и зачем.
Интернет-ботов объединяет программа, которая их порождает. Например, все пользователи браузера Opera могут быть "ботами", потому что используют один и тот же браузер. Это не шутка! Впрочем, давайте взглянем на это с научной точки зрения.
Каждый софт в интернете имеет свой слепок - будь это браузер, бот, чекер или любая другая программа. Проверить слепок программы можно с помощью специального чекера - вот он: чекер слепков.
Если перейти по ссылке, то увидите число - это слепок вашего браузера. При этом слепок бот-программы, которая автоматизирует действия браузера Chrome, будет отличаться, несмотря на все попытки бота подменить фингерпринт и добавить шумы.
Посмотрите видео с демонстрацией слепков реальных браузеров и бот программ:
Антифрод с использованием слепка браузера: пусть боты нервно курят в сторонке
Алгоритм прост, как дважды два:
- Строим слепок браузера.
- Смотрим, кому принадлежит слепок:
-- Если совпадает с настоящим браузером – поздравляем, это живой человек!
-- Если слепок не системный, но за ним есть факты оплат – добавляем в настоящие браузеры.
-- Если слепка нет среди известных браузеров и нет живых конверсий – это бот.
-- Если слепок есть в списке ботов – это точно бот.
Такой подход даёт нам безграничный контроль над трафиком:
- Трафик за слепком можно проконтролировать вручную (живые конверсии + Яндекс.Вебвизор).
- Слепки без оплат (или по поведению) - это боты.
- Визиты со слепками ботов можно обрабатывать по-другому: не учитывать конверсии, блокировать, перенаправлять на другую страницу и т.п.
- Если за слепком видны и пользователи, и боты, можно применить дополнительные меры: показать капчу, 2FA верификацию и т.д.
Заключение
Как видите, борьба с ботами – дело серьёзное, но вполне реальное. В одном из следующих постов я расскажу про уникальный идентификатор устройства DEVICE_ID и приведу кейс по очистке трафика сайта от ботов. Не забудьте подписаться на мой телеграм канал, чтобы не пропустьть пост по цифровой идентификации личности!