Дмитрий Ашуров

небольшая поправка, группу ОТ то же можно сузить или дробить, если проект крупный и есть вертикали, разного типа и темы категории и т.д.

Илья, спасибо за отзыв и за вопрос отличный! Очень приятно!

Вопрос очень важный, особенно на крупных проектах, где часто внедряются изменения глобальные или есть внешнее влияние. Порою сложно все учесть. однозначно ответить сложно, все зависит от типа и зоны эксперимента.
Чтобы исключить подобные влияния или хотя бы попробовать их учесть, при подведении итогов, мы делаем:
1. Группы ТГ и КГ отбираем максимально равнозначные по нескольким метрикам (видимость, спрос, трафик, степень оптимизации и т.д.) и отслеживаем динамику не только каждой группы по отдельности, но и динамику между этими группами. К примеру в начале эксперимента разность была 2 п.п. или 5% (в каких то метриках, к примеру в %ptraf), а после эта разница либо сократилась, либо увеличилась. И на фоне влияния хостовых изменений, когда обе группы будут расти или падать, вот эта разница может показать влияние теста.
2. Полезно к группам КГ и ТГ добавить линию ОТ (остальной сайт), который покажет динамику сайта в целом. Особенно, когда мы мониторим несколько метрик не ограничиваясь тем, что должен улучшить тест.
3. Отмечать известные изменения на сайте, в ПС или у конкурентов по датам и попробовать добавить эти изменения в график динамики трех групп (ТГ, КГ и ОТ). Увы, бывает и так, что мы не знаем об этих изменениях, поэтому важны здесь п1 и п2.

Спасибо, что нашел время для чтения!)

Спасибо за ваш отзыв! Рад, что статья оказалась полезной.

Спасибо, что прочли и оставили отзыв!

Соглашусь с коллегами, что хороших спецов можно найти на конференциях. Я, к примеру, всегда обращал внимание не только на спикеров, но и на спецов, которые задают вопросы спикерам, внимательно слушают и делают заметки. Подходил, знакомился, узнавал верхнеуровнево их погруженность в SEO и брал контакты, чтобы потом приглашать на интервью. В мск это Optimization от АиП осенью, большая аудитория.
Второй путь это более узкие встречи хэдов, к примеру клубы от АиП или КручуВерчу. Узнаем как их команда работает - полезно для поиска хэда групп, хантинга их сотрудников или как минимум будет инфа, когда кто-то из них будут стучатся к вам.
Третий путь, для меня как инхаус сотрудника, хнтить коллег из топовых агентств. Часто либо с тем, кто работает как менеджер с инхаусом.
Четвертый - путь долгий, потребует доп времени - это мониторинг чатов по нише. Кто какие комментарии оставляет, что пишет, как себя ведет. Но там конкуренция будет выше, т.к. ярких персонажей замечаем не только мы :)

Спасибо! Очень приятно знать, что приносим пользу 🤗
Команда правда очень крутая. Люблю всех ребят и безмерно всем благодарен за опыт, кейсы, которые получили и получим еще в будущем ❤