Мы напишем в Спортлото! Отвечаем на претензии, предложения и вопросы про «Рейтинг Рунета»

Весной мы провели под сотню интервью с агентствами и заказчиками и получили много вопросов. На часть мы ответили в предыдущей статье о принципах и методологии. В этой отвечаем на остальные: про формулы для разных рейтингов, частоту публикации, новые параметры, рейтинги и номинации, сертификаты, проекты с частными лицами и т.п.

Вопросы расположены в порядке важности и частоты.

Один из самых частых и интересных вопросов.

Мы всё понимаем: агентствам нужны инфоповоды и возможность расти в течение года.

Есть несколько причин, почему мы публикуем рейтинги раз в год:

Это может измениться. Мы много думаем и постоянно разговариваем с пользователями. Проснётесь как-нибудь утром, а рейтинги обновились :)

Во-первых, не одна. Базовые параметры практически во всех рейтингах одинаковые, но это особенность этапа нашего развития.

Напомним, что нам нужно было быстро и решительно избавиться от старой методологии и заменить её новой. Работающей и адекватной новой, а не просто новой. Поэтому нужно было взять параметры, которые: а) измеримы; б) проверяемы адекватными ресурсами в адекватный срок; и в) сводятся в одну формулу, решающую задачу подбора подрядчика.

Мы так и сделали и сразу получили много нужных рейтингов, достаточно объективно показывающих картину рынка и помогающих и заказчикам, и самим агентствам (об этом будет отдельная статья).

И ещё важный момент: чтобы придумать свою формулу и параметры для каждой услуги, нужно в ней разобраться. Пока мы считаем, что хорошо знаем разработку и SEO, потому что когда-то сами ими занимались как агентство, а над остальным работаем.

Ох-хо-хо. Вопрос-боль.

Вот напишите в комментариях, что считать проектом. Доменное имя? Не пойдёт: там может разработка, поддержка, SEO, таргет. Закрытый договор? В одном договоре бывает несколько проектов. А ещё договор бывает рамочный — на все услуги агентства, — а проекты идут приложениями. Акт? Акт может быть промежуточным.

Нужен чёткие измеримые границы проекта, чтобы не было манипуляций и сравнивались яблоки с яблоками, а не с кроликами. Если у вас есть идеи, как определить проект, пишите. Даже если это по одной услуге.

Мы сами думаем и постараемся придумать к 2023-му. Помогайте. Можем сделать большой созвон по этому поводу, где вы предложите и обоснуете свои варианты.

Потому что боялись, что не сможем проверить такие договоры.

Сейчас не боимся и, возможно, дадим такую возможность в следующем году.

Решили, что будем оценивать только «клиентские» проекты, потому что в них нужны дополнительные навыки: понять задачу, собрать информацию, работать с клиентом в процессе, сдать проект. Обычно подрядчик делает это за субподрядчика.

Возможно, сделаем рейтинг субподрядчиков с инструментами и навыками.

Это действительно проблема. И, кажется, мы нашли решение.

Мы не будем учитывать таких клиентов при расчёте среднего срока. Какой будет отсечка, пока не скажем, ещё думаем. Возможно, два или три месяца.

Речь о том, что ИКС сайта на поддомене учитывается с понижающим коэффициентом 0,01.

Действительно, сайты на поддоменах могут быть абсолютно разными: корпоративный сайт, личный кабинет, лендинги всякие.

Ищем решение, чтобы не погрязнуть в проверках сотен сайтов на поддоменах. Идеи принимаются.

Банально не успели сделать новый раздел для вноса сертификатов. Данные из старого кабинета не хотели использовать, потому что там были только сертификаты Яндекса и Гугла.

Раздел в кабинете уже открыли, в следующем году всё будет считаться. Причём не просто так, а с учётом сложности получения сертификата.

Мастхэвные, если мы такие обнаружим, возможно, не будут учитываться вовсе. Это как хвалить врача за то, что он получил диплом. Он как бы без него работать не имеет права.

Так исторически сложилось. К следующему году изменим и список, и веса наград.

Отдельно ответим, почему у нас нет Tagline Awards: как можно верить наградам, если на конкурс можно податься за час до подведения итогов? Никаких вопросов к работам, а вот к процедуре… Причём это не меняется из года в год.

Логичный вопрос: какая разница между агентством со 120 и 150 клиентами? Честно: никакой, если считать только число клиентов.

Мы думаем: об отсечке, после которой будет понижающий коэффициент; о разном учёте параметра в разных рейтингах. К 2023 что-то изменим.

Короткий ответ: потому что это единственный финансовый показатель, говорящий об уровне агентства, который мы можем рассчитать и проверить.

Почему он говорит о качестве? Да всё просто: если тебе платят, ты чего-то стоишь.

Возможно, к выручке стоит применить поправочные коэффициенты, которые сделают её более показательной. Например, учитывать текучку клиентов или выручку с одного клиента.

Есть другие показатели, которые, кажется, помогут решить нашу задачу: средний чек, средняя ставка специалиста, отношение выручки к числу сотрудников. Но по ним слишком много вопросов: как собирать, как проверять, как учитывать. Или что такое средний чек: общая сумма по контракту, сумма в месяц, средняя сумма по актам? Думаем над этим.

Отдельно скажем про прибыль. Во-первых, это показатель не для нашей задачи — выбрать подходящего подрядчика. Это важный показатель для оценки бизнеса, если агентство продаётся. Во-вторых, давайте честно: никто не будет честно заявлять прибыль, и мы не сможем это проверить.

Если вы готовы предложить модель учёта финансовых показателей, которая будет говорить о качестве услуг или надёжности подрядчика, пишите.

Потому что региональному клиенту сложнее заработать Х рублей, чем московскому. Хотя бы потому, что до сих пор компании больше заказывают местным. Об этом говорит как минимум наша статистика.

И конкуренция за московского заказчика фантастически высокая.

Пока не успели придумать, как собирать и проверять информацию.

Мы считаем это важным показателем надёжности, что бы там не говорили агентства, работающие с фрилансерами и субподрядчиками.

Потому что такие компании исключительно серьёзно относятся к выбору подрядчиков. Прохождение их проверок — показатель качества и доверия.

Напомним, что этот параметр считается не по модулю. В общем рейтинге по услуге число крупных компаний имеет понижающий коэффициент 0,25. У нас нет данных, насколько работа с крупными компаниями влияет на качество и надёжность, поэтому мы сделали просто: разделили на четыре. Есть четыре типа компаний: малые, средние, большие и крупнейшие. Каждому типу отводим равный вес: 1/4=0.25.

Пользователи обычно оценивают удобство и полезность. Если есть проблемы с UI/UX, оценка падает.

Но тут встаёт вечный вопрос: кто виноват — подрядчик, который хреново сделал интерфейсы/код, или заказчик, у которого бизнес или эго не позволили сделать всё удобно и полезно для пользователя?

Вы возразите: то же самое можно сказать про ИКС. Да, поэтому мы всё ещё думаем, как интегрировать в формулу оценки из сторов.

Наверное. Это, хоть и косвенно, говорит о стабильности, лояльности клиентов, уровне управления компанией.

Да, в агентстве может быть текучка, падение качества, смена позиционирования и много чего ещё. Но, раз живы и работают, что-то они делают правильно. Как минимум не числятся форменными прохиндеями и разгнездяями.

Есть и обратное: для молодых каждый клиент важен, им есть что доказывать, они на драйве, со свежими мыслями.

Потому что пока что не придумали, как сделать процесс сбора таким, чтобы отзывов было достаточно, они были более-менее объективными и реально показывали, можно ли агентству доверять.

Уже учитываем в выручке. Так выручка за 2019 г. имеет коэффициент 1.0, за 2020 г. — 1.25, а за 2021 г. — уже 1.5.

Над остальными параметрами думаем. Мы много над чем думаем.

Нет. Потому что это мнение, а не число, полученное из массива валидных данных.

Мнение, на которое влияют личный опыт и знания, отношение к агентствам, предубеждения, эмоции. Это человек со всеми плохо предсказуемыми плюсами и минусами.

Да, это особенность методологии. И мы понимаем её недостатки.

Но давайте вспомним, что главная цель — помочь заказчику найти подрядчика. Если в рейтинге не будет даже нескольких важных для рынка агентств, это вряд ли повлияет на достижение цели. «Ну, умер и умер».

Не-а. А зачем?

Мы стараемся сделать такую методику со сдержками и противовесами, чтобы агентству было выгодно вносить все данные и не обманывать.

Думаем, как это сделать.

Мы совершенно не против того, чтобы агентства всё видели и могли повышать своё место в рамках правил. Это спорт.

Не одинаково.

Веса определялись субъективно. Например, мы считаем, что на зарубежном конкурсе жюри оценивает именно работу, а не агентство, и поэтому их выбор более объективен.

В следующем году веса изменятся. Есть идея сделать вес зависящим от числа наград: чем проще получить, тем он меньше.

Про рейтинги. Будем смотреть, в каких категориях наберём достаточное количество агентств для построения релевантных рейтингов. Рейтинг из десяти компаний не имеет смысла, нужно хотя бы пятьдесят.

Возможно, будут новые рейтинги и срезы по инструментам и форматам работы. Думаем, как сделать их полезными и показательными.

Про конкурс. Для создания новой номинации нужно быть уверенными, что мы получим хотя бы 10 заявок. Потому что мы не делаем номинации, в которых можно получить призовое место, просто подав заявку :) На поверхности таких пока нет. Если есть идеи — предлагайте.

Да.

Чтобы вы могли явно показать свои особенности и сильные стороны. Потому что это поможет заказчику сделать выбор.

Есть такое.

Мы собираемся больше объяснять и помогать заказчику делать выбор. Как — пока не скажем. Но уже работаем над этим.

---

Если вам есть что сказать или появились новые вопросы, пожалуйста, напишите их в комментариях. На всё ответим.

Анонсы новых статей выходят в нашем Телеграм-канале.

Там мы публикуем аналитические материалы и результаты исследований, кейсы, интервью со специалистами и руководителями со стороны заказчика и подрядчика, обзоры инструментов и методов продвижения в разных сферах.

Подписывайтесь!