Изменения в методике «Рейтинга Рунета» и график подготовки к публикации рейтингов-2023

2022-й был годом рефлексии и изменений. Мы придумали десяток новых рейтингов и ещё больше доработок существующих. В статье описание всех изменений и объяснение, почему мы их вводим. А в конце — график подготовки к публикации рейтингов и планы на 2024 год.

Изменения в методике «Рейтинга Рунета» и график подготовки к публикации рейтингов-2023

Почему важно знать методологию? Только так можно понять, стоит ли доверять рейтингу и как его воспринимать.

Может, перед вами рейтинг, показывающий только выручку, а не качество услуг, надёжность или соответствие задаче? Окей, самые богатые агентства, спасибо. Пока не изучите методику, не узнаете. И можете ошибиться в выборе подрядчика.

Об этом будет отдельная статья. А сейчас посмотрите, что поменяется в рейтингах-2023, которые будут опубликованы 16 мая.

Что меняется в 2023 году:

Что добавляется в 2023 году:

Дальше подробнее про каждое изменение и график подготовки к публикации рейтингов.

Учёт проектов

Об этом мы уже писали в телеграм-канале для агентств, но повторим.

МОЖНО ДОБАВЛЯТЬ ПРОЕКТЫ С ФИЗИЧЕСКИМИ ЛИЦАМИ

Для этого в карточке проекта нужно указать тип клиента «Физическое лицо, самозанятый, нотариус».

Раньше мы думали, что заказы агентствам в подавляющем большинстве случаев делают юридические лица, но оказалось, что это не так. Исправляемся.

УЧИТЫВАЕМ ПРОЕКТЫ НА СУБПОДРЯДЕ

Во-первых, теперь субподрядные проекты идут в зачёт рейтинга.

Во-вторых, мы вводим срез, который будет показывать компании, которые специализируются на субподряде или работе с клиентами.

Раньше мы не учитывали субподряд, потому что опасались накруток. Думали, что агентства будут договариваться с другими о том, что они якобы делают проекты, и вносить их и, например, накрутят параметр ИКС за счёт добавления больших сайтов. Поскольку ИКС мы из формулы убрали, такие фиктивные договорённости, даже если они будут, очень незначительно повлияют на позицию в рейтинге.

СВЯЗКА ЮРИДИЧЕСКОГО ЛИЦА АГЕНТСТВА И ПРОЕКТА

Если проект был добавлен до 20 февраля, делать связку не нужно. Исключение — когда вам не хватает проектов для указания оборота (см. следующий пункт).

Это защита от накруток, чтобы агентства не добавляли «свои» юридические лица и обороты, не связанные с внесёнными проектами.

УСЛОВИЕ ДЛЯ ДОБАВЛЕНИЯ ОБОРОТА ЗА ОТЧЁТНЫЙ ГОД: ТРИ КЛИЕНТА И У КАЖДОГО МИНИМУМ ПО ОДНОМУ ПРОЕКТУ

Проекты должны быть сделаны вашим юридическим лицом, для которого указан оборот.

Но, если у вас есть один или два клиента, для которых вы по любой причине завели отдельное юридическое лицо, вы можете доказать это выпиской со счёта. Там должны быть только эти клиенты.

Бывают ситуации, когда агентству выгодно завести отдельное юридическое лицо под конкретного клиента. Было бы нечестно не учитывать эту выручку, но нам нужны доказательства.

Яндекс ИКС

Что меняется:

  1. ИКС больше не учитывается в формуле расчёта рейтингового балла.
  2. Но используется для среза по работе с посещаемыми сайтами.

Про это есть отдельная статья с объяснением, почему всё так произошло: https://vc.ru/marketing/626431-chto-pokazyvaet-yandeks-iks-i-stoit-li-ispolzovat-ego-pri-ocenke-raboty-agentstva.

Срез по работе с посещаемыми сайтами

Он появился, потому что мы перестали учитывать ИКС в рейтинговом балле, но считаем его важным показателем для клиента, которому важен опыт работы с сайтами с высокой посещаемостью.

Срез добавляется в следующие рейтинги: «Веб-студии», «Разработчики сайтов», «Создание и продвижение сайтов», «Поддержка и развитие сайтов», «SEO» и «Интернет-маркетинг», «Performance», «Контекстная реклама», «Таргетированная реклама» и «Рейтинг диджитал-агентств».

Условия для попадания в срез:

  1. ИКС: >=5000 (>1 млн уников).
  2. Число клиентов: минимум три за три года и один за последний год.
  3. Услуги: только связанные с высокой посещаемостью.

Внутри среза применяется долевой коэффициент: доля клиентов агентства с высоко посещаемыми сайтами делится на среднюю долю по всем агентствам. Чем доля выше, тем лучше.

Срез по размеру бизнеса клиента

Здесь мы добавляем срез «микро», потому что отличия между ним и малым довольно существенные.

Фильтром для попадания в срез становится число клиентов:

  • минимум 7 клиентов за 2020–2022 годы;
  • минимум 2 клиента за 2022 год с юр. лицами, размер бизнеса которых соответствует срезу.

Раньше достаточно было трёх клиентов, но нам кажется, что этого мало. Что такое, например, три клиента из ста тридцати трёх?

Идея среза в том, что показать заказчику, кто умеет работать с бизнесом его размера и даже специализируется на работе с ним. Доля решает эту задачу.

Срез по отрасли

Новые условия для попадания в срез:

  1. Число клиентов в отрасли за три года — 7.
  2. Число клиентов в отрасли за последний год — 2.

Раньше достаточно было трёх клиентов. Сейчас кажется, что этого мало.

Идея среза в том, что показать заказчику, у кого большой опыт в отрасли. Новые требования лучше решают эту задачу.

Коэффициент специализации

Он показывает, что агентство специализируется на работе с чем-то. В этом году мы добавим его в основные рейтинги и срезы по отрасли, размеру бизнеса клиента и площадкам (в рейтинге маркетплейсеров).

Формула расчёта коэффициента специализации:

(1 + (α/Σ)*(ϱ/Ω))

α — количество клиентов агентства, для которых выполнен хотя бы один проект, удовлетворяющий условиям рейтинга или его среза.

Σ — общее число клиентов агентства.

ϱ — скорректированная выручка агентства по услугам за 2020–2022 годы. Для расчёта показателя рассчитывается доля оборота, относящаяся к рейтингу (с учётом курса валюты по отношению к рублю, если юр. лицо не российское), и полученное значение умножается на три коэффициента:

— годовой: для выручки за 2020 год это 1, за 2021 — 1.25, за 2022 — 1.5;

— региональный: если основной офис расположен не в Москве, коэффициент рассчитывается через МРОТ региона, где находится агентство: если МРОТ региона больше МРОТ Москвы, коэффициент равен 1, если меньше, коэффициент рассчитывается как МРОТ в Москве, делённый на МРОТ региона;

— долевой: для основного рейтинга он равен 1, для срезов он высчитывается через соотношение количества времени, затраченного агентством на проекты, учтённые в срезе, и общего времени, затраченного на проекты, удовлетворяющие условиям среза.

Ω — скорректированная выручка агентства по всем услугам за 2020–2022 гг.

Ниже в описании рейтинга разработчиков корпоративных решений можно увидеть, как он встраивается в общую формулу расчёта рейтингового балла.

Средний срок работы с клиентом

При его расчёте мы теперь не будем учитывать клиентов, с которыми агентство начало работать в октябре-декабре года, предшествующим публикации рейтингов.

Это нужно, чтобы агентства добавляли всех клиентов, не боясь снижения LT.

Рейтинг подрядчиков крупнейших компаний

Новые условия для попадания в рейтинг:

  1. Срок работы с клиентом: от 3 месяцев.
  2. За три года: минимум 5 клиентов из числа крупнейших компаний.
  3. За последний год: минимум 1 клиент из числа крупнейших компаний.

И добавляется коэффициент специализации на работе с крупнейшими компаниями.

Новый список крупнейших компаний в нашем личном кабинете:

Новые условия продиктованы тем, что некоторые агентства делают тестовое задание или десяток баннеров и заводят это как проект. Ата-та.

Рейтинг разработчиков корпоративных решений

Для изменения методики этого рейтинга мы впервые собрали экспертную группу и написали об этом статью: https://vc.ru/ratingruneta/494057-chto-takoe-korporativnoe-reshenie-v-digital-i-kak-ocenivat-razrabotchikov-takih-resheniy.

С тех пор мы кое-что убрали и добавили.

ФОРМУЛА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА В РЕЙТИНГЕ РАЗРАБОТЧИКОВ КОРПОРАТИВНЫХ РЕШЕНИЙ

Балл = ( (α/A + ϱ/Р + 0,1ϐ/B)/2,1t) * (1 + (α/Σ)*(ϱ/Ω)) ) *100

α — число клиентов агентства, для которых выполнен хотя бы один проект, удовлетворяющий условиям рейтинга или среза.

A — число клиентов всех участников рейтинга или среза, для которых выполнен хотя бы один проект, удовлетворяющий условиям рейтинга или среза.

Σ — общее число клиентов агентства.

ϱ — скорректированная выручка агентства по услугам за 2020–2022 годы. Сначала рассчитывается доля выручки, относящаяся к работе с маркетплейсами (с учётом курса валюты по отношению к рублю, если юр. лицо не российское), и полученное значение умножается на три коэффициента:

— годовой: для выручки за 2020 год это 1, за 2021 — 1.25, за 2022 — 1.5;

— региональный: если основной офис расположен не в Москве, коэффициент рассчитывается через МРОТ региона, где находится агентство: если МРОТ региона больше МРОТ Москвы, коэффициент равен 1, если меньше, коэффициент рассчитывается как МРОТ в Москве, делённый на МРОТ региона;

— долевой: для основного рейтинга он равен 1, а для срезов он высчитывается через соотношение времени, затраченного агентством на проекты, учтённые в срезе, и общего времени, затраченного на проекты, удовлетворяющие условиям среза.

Р — сумма ϱ всех участников рейтинга или его среза.

Ω — скорректированная выручка по всем услугам за 2020–2022 годы.

ϐ — число крупнейших клиентов агентства (компаний, входящие в рейтинги Эксперт и Forbes), для которых выполнен хотя бы один проект, удовлетворяющий условиям рейтинга или среза.

B — число крупнейших клиентов (компаний, входящие в рейтинги Эксперт и Forbes) всех участников рейтинга или его среза, для которых выполнен хотя бы один проект, удовлетворяющий условиям рейтинга или среза.

t — если средняя продолжительность работы с клиентами агентства (τ) меньше средней для всех участников рейтинга или среза (T), коэффициент равен 1; если больше, коэффициент рассчитывается так: t = 1 + τ / T / 2,5.

СРЕЗЫ В РЕЙТИНГЕ РАЗРАБОТЧИКОВ КОРПОРАТИВНЫХ РЕШЕНИЙ

Пока делаем четыре среза:

  1. По размеру бизнеса клиента. Микро/малый, средний и крупный.
  2. По сфере. Критерий попадания: больше двух клиентов за три года и хотя бы один клиент за последний год.
  3. По городу. Критерий попадания: в городе должен быть офис, юридическое лицо и минимум три клиента.
  4. По услуге. Критерии попадания: минимум три клиента, которым была оказана услуга; в учитываемый период клиенту не была оказана услуга «под ключ».

Планируем срезы по типу решения и инструментам.

УСЛУГИ

К услугами категории «Корпоративные решения» добавляются услуги из категории «CRM».

Новый рейтинг: «Аутстаффинг»

Про него будет отдельная статья.

Если коротко, в рейтинг попадут компании, которые в 2020-2022 годах оказали клиентам услугу «аутстаффинг». И таких клиентов минимум три за три года и один за последний год.

Для определения аутстаффинга вводится новое свойство проекта — способ оказания услуги:

  • Аутстаффинг: Вы продаёте время сотрудников,
  • Услуга: Вы продаёте услугу с определёнными параметрами — например, хостинг и техническую поддержку сайта 24/7, — а оплата идёт за потраченное сотрудниками время.
  • Проект: Вы продаёте результат с фиксированной ценой и сроком, описанный в задании или смете. Например, корпоративный сайт за 3 млн рублей, который должен быть сделан за 6 месяцев.

Новый рейтинг: «Работа с маркетплейсами»

И про него тоже скоро будет отдельная статья.

Если коротко, в рейтинг попадут компании, которые в 2020-2022 годах оказали клиентам услугу «Работа с маркетплейсами». И таких клиентов минимум три за три года и один за последний год.

Услуги для новой категории:

  • Работа с маркетплейсом «под ключ»
  • Стратегия выхода/развития на маркетплейсах
  • Интеграция сайта/корпоративной системы с маркетплейсом
  • Аналитика для работы с маркетплейсами
  • Подготовка контента для маркетплейсов
  • Продвижение/реклама на маркетплейсах: медийное, поисковое и т.п.

Есть ещё услуга «Привлечение внешнего трафика на маркетплейсы», которая вроде бы является частью работы с маркетплейсом, но для такого уже есть рейтинги — «Контекстная реклама», «Таргетированная реклама», «SEO» и пр. Была идея учитывать её только в связке с другими услугами из списка выше, но мы поняли, что не сможем разделить их внутри одного проекта и отловить накрутку, когда агентство будет создавать два дублирующих проекта, накручивая таким образом важный показатель — число клиентов.

Будем думать над решением, но пока эту услугу учитывать не будем.

Конкурсы: новый список и веса

Про это будет отдельная статья. Ближе к концу марта.

Если коротко, поменяется список учитываемых конкурсов и их веса.

График подготовки к рейтингам

Если вы ещё не участвуете в наших рейтингах, зарегистрируйтесь, прочитайте статью «Как попасть в “Рейтинги Рунета” и чего ждать новичкам» и начните вносить данные.

Кто зарегистрирован, проверьте, пожалуйста, что вы внесли все данные за 2020-2022 годы. Все данные. За три года. Проверьте.

27 МАРТА—9 АПРЕЛЯ. ТЕСТОВАЯ ПРОВЕРКА

Доступна только тем, кто не прошёл обязательную проверку в прошлом году.

Проходить её необязательно, но крайне желательно.

Если пройдёте, то в рамках обязательной проверки нужно будет подтвердить меньше проектов. Не пройдёте — будете знать, что проверить и добавить.

Как это работает:

  1. Проекты, которые система выберет для подтверждения, перемещаются в раздел «Подтверждения».
  2. К ним нужно загрузить подтверждающие документы: акты выполненных работ, скан договора, etc. Требования к документам

12 АПРЕЛЯ. ПУБЛИКАЦИЯ ПРЕДВАРИТЕЛЬНЫХ РЕЗУЛЬТАТОВ

Предварительные результаты публикуются в личном кабинете (сейчас там результаты прошлого года): https://cabinet.cmsmagazine.ru/rating/intermediate.

Вы увидите свои места в каждом из рейтингов, куда вы предварительно попадаете. Если вас нет в каком-то из рейтингов, значит, вы не прошли в него по требованиям.

Результаты будут обновляться каждый день утром вплоть до завершения обязательной проверки.

24 АПРЕЛЯ–12 МАЯ. ОБЯЗАТЕЛЬНАЯ ЕЖЕГОДНАЯ ПРОВЕРКА И ЗАВЕРШЕНИЕ ВНОСА ДАННЫХ

Не проходишь обязательную проверку — не попадаешь ни в один рейтинг.

Как проходит обязательная проверка:

  1. Система выбирает случайным образом 10% проектов (не меньше двух).
  2. Мы проверяем клиента, формат работы, услуги и период оказания.
  3. У вас есть право на ошибку: не подтвердить 10% из выбранных проектов.

До 24 апреля можно добавлять и редактировать проекты.

С 24 апреля по 12 мая, пока идёт обязательная проверка, добавлять и редактировать проекты уже нельзя, но можно редактировать информацию о компании, вносить награды, обороты, распределять выручку по услугам и делать привязку клиентов к крупнейшим компаниям.

Последний день редактирования и вноса данных — 12 мая.

16 МАЯ. ПУБЛИКАЦИЯ РЕЙТИНГОВ

Рейтинг публикуются на нашем сайте.

В личном кабинете можно скачать дипломы с занятыми местами и бейджи для установки на сайт.

В этот же день публикуются анонсы в отраслевых СМИ, новостных и отраслевых телеграм-каналах. Планируемый охват — несколько миллионов человек.

Планы на 2024-й

Не будем рассказывать все идеи, чтобы потом не оправдываться, почему не сделали, но вот несколько спойлеров: учёт сотрудников, надёжность агентства, бутики и конвейеры, отзывы, новые рейтинги.

В этом году мы сделали новый телеграм-канал — Мозг «Рейтинга Рунета». В нём мы задаём вопросы и делимся мыслями про рейтинги, методику, рынок, отношения заказчика и подрядчика. Он создан для того, чтобы обсуждать идеи, слышать мнение агентств и, надеемся, заказчиков. Последних пока мало, но мы планируем затащить их туда и привлечь к обсуждениям.

Вот несколько активных обсуждений:

Подписывайтесь, высказывайтесь, влияйте на методику наших рейтингов.

Пишите, пожалуйста, ваши вопросы, комментарии и предложения, что нам стоит изменить в методике в 2024 году и какие рейтинги добавить.

Работу над методикой и новыми рейтингами начнём в июне, чтобы было время всё обдумать, обсудить, реализовать и сообщить заранее.

Чтобы не пропускать новые статьи, подпишитесь на нас:

3535
31 комментарий

Очень импонирует ваш обстоятельный подход. Мы для себя раньше особо не рассматривали рейтинги/конкурсы/премии как раз потому, что они не учитывали узкую специализацию агентства (PR&digital для B2B IT). В метриках по умолчанию выигрывали консьюмерские массовые направления.

К вам подадимся обязательно) Спасибо за огромную работу.

3
Ответить

Кстати, в 2024-м планируем поменять методику PR-рейтинга. Если есть предложения и критика текущей методики, пишите, пожалуйста.

Обсуждать будем тут: https://t.me/ratingruneta_brain

2
Ответить

Спасибо!

Ответить

Отлично, рейтинг становится более понятным, это приятно. Хорошо, что изменения прозрачные, это дает надежду на его развитие в правильном русле. Правильное русло - для нас это рейтинг полезный и клиентам и компаниям. А не статуя(пузо)мерка, чем грешат многие рейтинги аналоги.

Кстати хорошо бы в срезах ТП учитывать срок 5-7 лет это показатель качества и удовлетворения клиента.

2
Ответить

Ещё более понятным?)

Михаил, вы предлагаете в рейтинге ТП дать больший вес среднему сроку работы с клиентом?

Ответить

Скачал статью. Если совсем коротко - на столько сильно изменилась логика добавления проектов, что наша команда просто бросила вести у вас свою карточку. Несколько лет мы держали в порядке все данные и т.д. даже получилось зайти в Топ по своему региону в рамках нескольких услуг (ТИЦ не качали специально, ссылки были только на те проекты где принимали участие, тут к нам не придраться в отличии от коллег).

Но все убили своим новым подходом. Представляете нас по сути заставляют пересоздать все проекты в которых мы работали, обязательно в плоть до дня указать сроки когда мы работали с проектом и приложить ещё все договора и т.д. Т.е. нам с портфолио в несколько сотен проекты надо потратить на это.. боюсь подумать сколько часов.

Очень ждём ваш новый рейтинг, где не будет нас и множества других студий и компаний.

З.ы. ваша рассылка просто тупая. Ну не хотим мы почти 2 года ничего добавлять карточку и наводить там порядок по вашим новым правилам, а рассылка почти каждую неделю «ну заполните» «ну очень надо», а кнопки отписаться нет от таких писем.

Ответить

А в чем сложность делать это постепенно в течение года? Это не новое изменение. Если у вас все ок с документооборотом, то даже сотню-две проектов посильно заполнить в течение адекватного времени. Если нет, то повод задуматься об этом. Рейтинги - один из маркетинговых каналов, по которым надо работать как и по любым другим имхо.

4
Ответить