[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "create", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-158433683", "adfox_url": "//ads.adfox.ru/228129/getCode?p1=bxbwd&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid21=&puid22=&puid31=&fmt=1&pr=" } } ]
{ "author_name": "Vladislava Rakhmanova", "author_type": "self", "tags": ["\u043a\u043e\u043b\u043e\u043d\u043a\u0430"], "comments": 12, "likes": 13, "favorites": 4, "is_advertisement": false, "section_name": "default", "id": "24407" }
Vladislava Rakhmanova
4 430

«Мы просто программисты»: REES46 ответил Retail Rocket на обвинения в хакерской атаке

Генеральный директор центра управления конверсией REES46 Михаил Кечинов о скандале вокруг тестирования рекомендательных систем.

Поделиться

В избранное

В избранном

За одну лишь пятницу 2 июня мне пришло больше заявок в друзья от участников ecommerce-рынка, чем за предыдущие три года. Говорят, что PR плохим не бывает. Бывает, конечно. Просто нужно уметь его правильно готовить.

То, что вы все уже знаете: REES46 — мошенники, потому что подделывают сегменты при A/B-тесте. Так говорят профессионалы из Retail Rocket. Дальше будет то, чего вы не знаете. А в конце ещё и то, что вам понравится.

С 1 по 28 февраля 2017 года магазин «Дочки&Сыночки» проводил ABC-тест товарных рекомендаций. Результаты теста:

  • DochkiSinochki = Revenue.

  • Retail Rocket = Revenue + X.

  • REES46 = Revenue + 5X.

Для примера, если базовая выручка сегмента равна 1000 рублей, а прирост X равен 5%:

  • DochkiSinochki = 1000.

  • Retail Rocket = 1050.

  • REES46 = 1250.

Это мог быть потрясающий кейс, если бы показатель X не был непростительно малым. Никак не 5%. Дальше в дело вступают профессионалы Retail Rocket. И это не сарказм.

Я не знаю, как еще можно назвать людей, которые за пару писем и звонков способны убедить крупную компанию «забить» на результаты теста, потратить кучу денег на повторную интеграцию и ещё три месяца на повторное тестирование, причем за эти три месяца от магазина так и не пришла команда: «Всё, тест официально запущен». Это достойно восхищения. У нас так никогда не получалось.

Наверное, это потому, что мы программисты. Зато иногда обращаем внимание на странные вещи. Первая вещь — это сегментация на пять месяцев. Всё бы ничего, вот только у моего пользователя изменился сегмент в момент тестирования товарных рекомендаций. Это было в начале марта.

Как водится, у нас сработал «синдром Навального». И мы решили провести собственное расследование — со скандалами и интригами. Добавили в SDK плохо читаемый код, льющий нам в базу присвоенные пользователям сегменты и прикрыли его от Москвы, чтобы враг не сразу заметил. И стали ждать.

Ждать пришлось недолго — несколько сотен человек меняли свои сегменты ежедневно. Мы обрадовались и стали планировать, как раскопать причины смены сегментов и как это всё потом красиво подать в СМИ. Вот только мне хватило ума задать юристам вопрос: можно ли нам опубликовать такое. В ответ мне сказали: «Если много лишних денег, то можно». Расшифровка будет ниже.

Детективная горячка сразу прошла, у нас нашлось много другой, более важной работы, а смену сегментов мы списали на устаревание куки — сегментатор Retail Rocket стоит на сайте уже давно, просто это старые пользователи, и у них устарела куки. Но всегда есть «но». Об этом тоже ниже.

К апрелю магазин закончил доработки интеграции рекомендательных систем, мы же переделали отслеживание смены сегментов в скрипт инициализации — скрывать-то уже нечего. И стали ждать официального начала A/B-теста. Вот только он не начинался, потому что с завидной регулярностью ребята из Retail Rocket находили, что у них что-то ещё работает не так, писали, что нужно что-то переделать. Ну и стабильно проигрывали, конечно. Так прошел апрель.

В начале мая магазин прислал нам письмо: Retail Rocket нашла, что сегменты пользователей меняются и предлагают удалить из отчета заказы для измененных пользователей. Примечательно, что больше всего измененных пользователей было у нас.

Я ответил, что сегменты меняются из-за программы Retail Rocket и приложил отчет о смене сегментов у 400 пользователей за последние сутки с равномерным распределением пользователей по сегментам. После этого мы еще съездили в гости к представителю магазина и подробно рассказали, почему сегменты меняются (устаревание куки — тогда мы ещё так думали, да).

И еще мы сделали одну непростительную вещь. Мы решили исправить проблему своими силами и не сказали об этом магазину. Посудите сами: мы оказываем магазину услугу четвертый месяц. Бесплатно. Потому что конкурент тянет резину. Все уже устали от этого теста, всем хотелось быстрее это закончить.

Переделывать сегментатор — это еще две-четыре недели разработки со стороны магазина и месяц ABC-теста. Вот мы и «починили» сегментатор Retail Rocket. Мы стали восстанавливать потерянные сегменты, используя старый и плохо читаемый код в SDK.

У некоторых может возникнуть вопрос, почему же мы не восстанавливаем сегменты для Москвы. Ответ прост: забыли убрать проверку. А кто работает без багов? Отметьтесь в комментариях, я поставлю за вас свечку в церкви.

А потом случилась «грязная пятница». Вместо того, чтобы задать нам вопрос или хотя бы пошантажировать, конкурент решил сыграть в «Скандалы, интриги, расследования».

Вообще у нас ИТ-рынок пока немного диковат: ты можешь ходить по конференциям или офисам и поливать конкурента грязью в кулуарах и тебе за это ничего не будет. До тех пор, пока не сделаешь этого публично. Ребята из Retail Rocket увидели часть нашей функциональности, выдали её за желаемое и раздули из этого скандал.

А мы подали иск. Мы ничего не должны доказывать. Теперь это проблема ответчика — доказать, что это не клевета. Что будет дальше? Дальше шоу будет продолжаться еще месяцев шесть, не меньше. Поэтому попкорна потребуется много. Каждое более или менее значимое действие мы будем освещать.

Ну, и напоследок кое-что для обсуждения. Мы сделали в Google Analytics ровно такой же отчет по переходам пользователей. Вот эти данные за период с 7 по 9 июня:

Смысл здесь не в том, что в наш сегмент меньше переходов. Идея в том, что мы сделали интерфейс к отчетам о смене сегментов, которые мы собираем напрямую с магазина. И там цифры об измененных пользователях, мягко говоря, не совпадают.

Удобный инструмент. Покликайте по сессиям, чтобы посмотреть историю переходов пользователей между сегментами. История некоторых уходит корнями в начало марта. А еще бывают люди, поменявшие сегмент 865 раз. Почему данные отличаются? Это вопрос к специалистам по Google Analytics. Мы просто программисты.

#Колонка

Популярные материалы
Показать еще
{ "is_needs_advanced_access": false }

Комментарии Комм.

0 новых

Популярные

По порядку

Прямой эфир

Команда калифорнийского проекта
оказалась нейронной сетью
Подписаться на push-уведомления