Главное о «Рейтингах Рунета»: принципы и методика 2022

Эта статья открывает цикл материалов о рейтингах (в плане уже больше 20). Наверное она самая важная, потому что формулирует позицию: зачем и для кого мы делаем рейтинги, наши принципы и методику. А ещё объясняет, почему мы верим математике и не очень доверяем экспертному мнению.

«Заработать» опускаем, это очевидно. Нам интересно делать сервис, который помогает.

Заказчику — найти подходящего подрядчика. Это важно: не самого титулованного или известного, не признанного профессиональным сообществом, не самого опытного или коммерчески успешного.

А подрядчику — заработать, найти своё место и качественно вырасти.

Не писькомерку и крутые шильдики, чтобы их все вешали на сайт, и не самый упоминаемый бренд. Инструмент поиска и оценки подрядчика.

Понять их поможет один факт: Анатолий Денисов, наш главред и идеолог — прикладной математик. Знак зодиака — рак.

Есть два принципиально разных подхода к формированию рейтингов: 1) с учётом мнения людей [экспертов, агентств или заказчиков] или 2) без них, основываясь исключительно на данных и математике. Есть ещё комбинированный третий, но он похож на первый.

Мы выбрали второй. Проще всего объяснить это аналогией. Вот есть нейробиология, которая фиксирует измеримое: электрические сигналы, активацию и связи нейронов, гормоны. И есть психология, которая опирается на наблюдения, тесты, self-report, зависит от наблюдателя и интерпретации результатов человеком.

В первом подходе много субъективного и не направленного на решение задачи. Если это мнение эксперта, то он оценивает «уровень» агентства, обычно по известности и знаковым работам. Если это мнение заказчика, он просто говорит о своей (не)удовлетворённости. А хочется понятности и измеримости.

Мы в своё время спросили себя: кто мы такие, чтобы корректировать данные? Человеки из Кемерова?

Мы понимаем недостатки своей модели. Например, если серьёзное агентство не подало заявку на участие и не предоставило данные, его не будет в рейтинге. И это, вроде как, делает рейтинг менее объективным. Но тут уместно вспомнить, что главная цель — помочь заказчикам найти подрядчика. Если в наших рейтингах не будет 1% агентств, сколь угодно серьёзных, это вряд ли повлияет на достижение цели. Нет и нет — выберут из десятков других.

Опора на данные позволяет всё проверить — и нам, и агентству, и заказчику. Прям сесть и пересчитать.

Мы знаем, что многие агентства так и делают, и после этого говорят, что мы — самый прозрачный и объективный рейтинг.

Ещё мы знаем, как требование прозрачности и проверяемости влияет на работу агентств. Например, некоторые буквально перед подачей данных бегут к заказчикам подписывать акты, чтобы предъявить их нам. Другие говорят, что начали считать и анализировать показатели, потому что они есть у нас.

Надеемся, что наш подход станет если не причиной, то одним из катализаторов порядка в процессах и бухгалтерии у агентств. В будущем году мы собираемся ввести 1–2 важных параметра, которые нужно будет подтверждать документами — как отношения с клиентом сейчас. И сделаем так, что получить высокие места без них будет сложно.

Вы прекрасно знаете рейтинги, которые строятся только на основе оборотов или отзывов клиентов. Мы не собираемся их критиковать, но заметим, что, с точки зрения математической статистики, чем больше коррелирующих параметров, тем точнее предсказательная способность данных. А это и есть наша задача — предсказать вероятность того, что подрядчик сможет качественно оказать услугу.

Многофакторность решает ещё одну задачу: манипуляция одним параметром оказывает меньшее влияние на рейтинг. Помнится, при старой методологии мы как-то столкнулись с волной сертификатов, выданных на уборщиц и бухгалтеров, и это была проблема, потому что факторов было всего два. Сейчас мы видим попытки что-то подкрутить, но они плюс-минус бесполезны.

Работает система сдержек и противовесов. Возьмём, например, два наших параметра — число клиентов и средний срок работы. Агентство может не добавлять клиента, потому что работает с ним недавно и это снижает средний срок, но при этом теряет в числе клиентов. И наоборот.

Прямо сейчас у нас пять общих и два специализированных параметра, каждый со своими коэффициентами. В следующем году по плану добавится ещё несколько. Так победим.

Опора на данные позволяет найти и исправить ошибку алгоритма или вноса данных: мы видим отклонения от нормы, странные скачки и падения. Как это отследить, если мы опираемся на мнения экспертов?

Мы стремимся к объективности, а для этого должен быть осязаемое поле и данные для анализа. Данные, не мнения.

Хотя тут мы немного лукавим. Экспертное мнение в наших рейтингах есть — это формула расчёта. Её придумывает и корректирует не AI, а мы. Но у нас оно применяется один раз и ДО сбора данных. И все знают, как это работает.

Если у тебя есть открытые данные и формула, ты не можешь вмешаться в результаты. Точнее, можешь, но это заметят, и репутации — конец.

Человеку всегда что-то кажется правильным, соответствующим его системе ценностей, он что-то видит или наоборот. И это невозможно проверить, только поверить в порядочность и объективность эксперта.

Про заказчика мы уже сказали: найти и выбрать подрядчика, который хорошо решит задачу.

А для агентства, кроме лидов и пиара, конечно, — оценить себя. Советуем почитать статью «Рейтинг Рунета — отражение того, что происходит в агентстве. Три инсайта от Wemakefab», которая вышла буквально на прошлой неделе: https://vc.ru/u/503193-viktor-ryndin/435414-reyting-runeta-otrazhenie-togo-chto-proishodit-v-agentstve-tri-insayta-ot-wemakefab. Если коротко, ребята пишут, что изменения во внутренних процессах мгновенно отразились на позициях в рейтингах и позиционировании, а это повлияло на вектор развития агентства. Отличный текст, советуем прочитать.

Digital-рынок гораздо больше разработки сайтов и рекламы, на чём долгое время были сконцентрированы рейтинги (некоторые и по сей день). Вместо старой методологии, которая нас сильно ограничивала, нужно было создать новую, которая позволяла бы работать с любой услугой. Это мы и сделали, что позволило быстро ввести больше десятка новых рейтингов.

У такого решения есть очевидный недостаток: разные услуги нужно оценивать по-разным параметрам и с разными коэффициентами важности. Например, срок в SEO гораздо важнее, чем в разработке сайтов. И мы к этому, конечно, придём. А пока что мы запустили новые рейтинги и опробовали новую базу.

Есть ещё важный момент, который возвращает к экспертизе. Чтобы создать уникальную формулу для каждой услуги, нужно в ней досконально разобраться. Мы отдаём себе отчёт, в чём разбираемся хорошо, а в чём не очень, и стараемся это нивелировать формулой с параметрами, применимые к любой услуге. Например, мы хорошо знаем разработку, и поэтому в рейтингах разработчиков у нас есть дополнительные показатели, смысл и важность которых мы понимаем: ИКС и награды. Как только разберёмся с остальными услугами, сделаем так во всех рейтингах.

Хочется провести аналогию с Гуглом и Яндексом. Если бы они в своё время решили сделать разные алгоритмы ранжирования для разных кластеров, то никогда бы не запустились. Сначала был создан и отточен базовый алгоритм, применимый ко всем документам, а сейчас в него вносятся точечные изменения. Например, в медицинских статьях Гугл старается определить «экспертность» автора, а в статьях про SEO — нет, потому что последствия у советов поесть толчёных мухоморов и закупить ссылки несколько разные.

Мы действуем так же: сначала создали новую методологию, сейчас улучшаем учёт базовых универсальных параметров, а потом будем вводить частные для каждой услуги.

Сейчас расскажем про наши главные параметры.

Понятный и проверяемый показатель, который сообщает, что за ваши услуги готовы платить. Для человека с капиталистическим мышлением, не замутнённым постмодернизмом, это основа основ: если тебе платят, ты чего-то стоишь.

Выручка умножается на коэффициенты:

• Годовой. Для выручки за 2019 г. — 1, за 2020 г. — 1.25, за 2021 г. — 1.5. Свежая выручка важнее, и это логично: два года назад ты мог быть хорош, а сейчас стух, и заказчику нужно это знать. Шаг в 0.25 — интуитивный, данными о влиянии свежести выручки на качество работы не подкреплён; мы об этом ещё подумаем.
• Региональный. Если основной офис расположен не в Москве, коэффициент рассчитывается через МРОТ в регионе. Если региональный МРОТ больше МРОТ Москвы, коэффициент равен единице, а если меньше, коэффициент рассчитывается как МРОТ в Москве, делённый на региональный. Мы ввели его, потому что считаем, что в регионах сложнее зарабатывать, а наша задача — показывать того, кто будет полезнее заказчику, а не кто больше заработал.
• Долевой. Для основного рейтинга он равен единице, а для срезов высчитывается как соотношение времени, затраченного на проекты, учтённые в срезе, к общему времени на все проекты. По сути, это коэффициент, показывающий специализацию. Её можно заявить словами, а можно измерить. Вот мы и измеряем.

Эти три поправочных коэффициента призваны превратить чистое бабло в актуальный показатель коммерческой эффективности, то есть востребованности на рынке, то есть доверия со стороны заказчиков.

Довольно спорный показатель, мы знаем. Вы можете справедливо возразить:

• Это же показатель эффективности отдела продаж!
• Чем больше у агентства клиентов, тем меньше тебе уделят времени.
• Ха, в этом соревновании выигрывают те, кто работает на поток, а не бутиковое агентство, делающее суперские проекты.
• Важно не количество, а качество.
• Какая качественная разница между 100 и 150 клиентами?

Пока мы ответим так: да, есть над чем подумать; и в сочетании со следующим параметром число клиентов становится вполне себе качественным показателем.

Небольшой тизер: в следующей версии методологии этот показатель скорее всего будет учитываться иначе. И, возможно, будут добавлены другие поправочные параметры.

Важный момент: мы учитываем в рейтинге не чистое число клиентов, а их долю по отношению к общему числу у всех агентств, участвующих в рейтинге. Смысл такая операция не меняет, зато позволяет привести число клиентов к нужной размерности — единицам. Это называется нормировкой. Если бы мы это не сделали, то не смогли бы поставить в одну формулу средний срок работы, который как раз исчисляется в единицах, и число клиентов, которых у агентств могут быть сотни и даже тысячи. Получилось бы, что срок почти не влияет на позицию.

Мы можем больше рассказать про математику наших рейтингов, но не уверены, что это нужно :) Напишите, если интересно.

Если заказчик вам платит, он как минимум удовлетворён. Значит, у вас нормальные люди, задачи решать умеете. А чем дольше он платит, тем выше вероятность, что вы работаете хорошо.

Именно вероятность. Тут важно сделать сноску: все показатели в нашей методике повышают вероятность выбора подходящего подрядчика, но ни в коем случае его не гарантируют.

Важный момент: мы считаем не чистый средний срок агентства, а его отношение к среднему сроку по рынку. Если средний срок агентства меньше, мы считаем его за единицу, а если больше, то он повышает позицию.

Это компании, которые входят в рейтинги Эксперт и Forbes или принадлежат им.

Они серьёзно относятся к выбору подрядчиков. Прохождение их проверок — показатель качества: вы как минимум (!) не шарашкина контора, вам можно доверять.

Важно, что параметр считается не по модулю, и это момент, на котором хочется остановиться — как на наглядном примере нашего «математического» подхода.

В общем рейтинге по услуге — например, в разработке сайтов или перфомансе — число крупных компаний учитывается с понижающим коэффициентом 0,25. Это значит, что вес крупных клиентов в четыре раза меньше, чем клиента вообще. Почему? Мы рассудили так:

• Данных о влиянии работы с крупными компаниями на качество и надёжность у нас и на рынке нет, а значит, нужно сделать допущение.
• Есть четыре типа компаний: малые, средние, большие и крупнейшие. Каждому типу отводим равный вес: 1/4=0.25.

Да, это допущение, но, если бы мы его не сделали, то преимущество получили бы агентства, работающие с крупными клиентами. Что плохо для решения нашей задачи — подсказать клиентам разного размера, кто им подойдёт.

В отдельном рейтинге подрядчиков крупнейших компаний этот параметр считается иначе: чем больше у агентства крупнейших клиентов по отношению к среднему значению по рынку, тем выше его место. Если бы мы учитывали просто число, выше поднялись бы те, у кого крупнейших клиентов больше по модулю, а наша задача — показать заказчику специализацию. И её показывает как раз доля крупнейших в общем числе клиентов.

ИКС, показатель качества сайта от Яндекса, и награды в конкурсах — это то, что мы можем измерить и считаем показателями качества. Наверное слишком просто, но это хоть какая-то специфика услуги, связанной с сайтами.

Награды, кстати, используются как единственный параметр в рейтингах креативности, потому что мы не придумали другого измеримого показателя. Кроме мнения экспертов, но про это мы уже поговорили.

В одной из следующих статей мы объясним, почему хотим, но пока не закладываем другие измеримые параметры, а какие не собираемся учитывать в принципе.

О проверке много вопросов, поэтому проясним основные правила:

• Проверяются всегда и на 100%: обороты, победы в конкурсах и привязка клиентов к крупнейшим компаниям России и мира.
• Проверяются выборочно: проекты, услуги, формат работы, юр. лица клиентов.
• Для выборочной проверки берутся случайные проекты, по которым нужно в течение 1–2 недель загрузить подтверждающие документы.
• У агентства есть право на ошибку. Первый раз — во время тестовой проверки, которая запрашивается самим агентством. Если агентство её не проходит, ничего не происходит, оно просто узнаёт, что мы не примем проект. Второй — во время обязательной проверки: в ней можно завалить 10%. А вот если агентство провалит обязательную проверку, оно не попадёт ни в один рейтинг. Больно, но справедливо.

Кому нужны подробности, в этой статье есть всё о проверках: https://cmsmagazine.ru/journal/news-projects-instrukcija-dlja-uchastnikov-rejtingov-runeta/.

В следующей статье мы будем отвечать на вопросов, которые вы, агентства и заказчики, задали нам в интервью в апреле-мае. Их уже около тридцати :-0.

Если нам не удалось пообщаться, пишите вопросы в комментариях к статье или в Телеграме в комментариях к посту про эту статью.

Будем благодарны за отклик о статье.

Анонсы новых статей выходят в нашем Телеграм-канале.

Там мы публикуем аналитику и результаты исследований, кейсы, интервью со специалистами и руководителями со стороны заказчика и подрядчика, обзоры инструментов и методов продвижения в разных сферах.

Подписывайтесь!