Награды каких конкурсов будут учитываться в «Рейтинге Рунета» в 2023-м
Появится ли Tagline Awards? Что будет с иностранными конкурсами, которые блокируют российские агентства? Кто сильнее — их Behance или наш Dprofile? Каким будет вес каждой награды и почему? Отвечаем на эти и другие вопросы — с комментариями экспертов из ведущих российских агентств.
В этом году мы взялись за методику, как крестьянин за чернозём: всё перепахать. Вот полный список изменений.
Учёт наград мы не меняли три года. С тех пор много чего случилось в самих конкурсах и в мире, поэтому список и веса нужно было пересмотреть.
Где, зачем и как мы учитываем награды
ГДЕ
В четырёх рейтингах:
Из списка видно, что мы учитываем только награды, полученные за сайты и мобильные приложения. В следующем году это изменится. Постараемся добавить награды PR, рекламу и что ещё получится вписать в наши рейтинги.
ЗАЧЕМ
Есть клиенты, для которых при выборе подрядчика креативность и дизайн важнее остального. Для таких мы сделали рейтинги креативности.
Даже если креативность — не главный критерий, победа в конкурсе всё равно показывает уровень агентства. Как минимум его дизайна, потому что именно он чаще всего оценивается в конкурсах.
КАК
- Каждая награда проверяется.
- Учитываются награды за последние четыре года, в том числе за текущий.
- Учитываются только награды, связанные с проектами. Раз награда поднимает агентство в рейтинге, она должна показывать опыт в реальном проекте. В чисто конкурсной работе нет решения задач клиента, только творчество. Это не про наш рейтинг.
- Если проект взял несколько наград, то награда с самым большим весом учитывается полностью, а остальные — с понижающим коэффициентом 0,1. Количество сильных проектов для заказчика важнее количества наград.
- Чтобы попасть в рейтинг креативности, нужно загрузить минимум по одной награде для трёх разных клиентов. Одну или две награды мы считаем непоказательными.
Опросы про конкурсы
Чтобы узнать, в какие конкурсах участвуют компании из нашего рейтинга, мы провели опрос, который дал 130 анкет и список из 50+ конкурсов — диджитал, креативных, рекламных и т.д.
И следом провели второй опрос, чтобы узнать, в каких из перечисленных конкурсов у компаний есть награды за последние три года. Получили 112 анкет с вот таким результатом:
Это было нужно, чтобы понять, какие конкурсы анализировать в экспертной группе.
Экспертная группа
Чтобы разобраться в конкурсах и наградах, мы собрали экспертов из агентств, активно участвующих в конкурсах, и поставили им две задачи:
- Выработать параметры оценки конкурсов и наград, чтобы это было не мнение, а измеримая штука — как мы любим.
- Назначить веса каждому конкурсу и награде.
Кто вошёл в группу:
Какие награды будут учитываться в рейтингах–2023
В список вошли конкурсы с понятными требованиями к работам, составом жюри, процедурой и критериями оценки.
Сейчас коротко о каждом.
Российский конкурс. Проводится с 1997 года.
В 2022-м в жюри было 70+ человек: дизайнеры, программисты, руководители и другие специалисты из агентств и компаний-заказчиков.
Как выбираются победители:
- Раз в год.
- Сначала проводится народное голосование, победители которого проходят во второй этап, где жюри выбирает победителей.
Номинаций в 2022-м: 51 в сайтах и 25 в мобильных приложениях. Участников в номинации: 3–30.
В некоторых тематических номинациях конкуренции, можно сказать, нет.
В золотых номинациях конкуренция повыше, но даже там бывает шесть претендентов на три призовых места.
Награды, которые мы будем учитывать: 1–3 места в каждой номинации; за сайты и мобильные приложения — золотые и тематические.
Российский конкурс. Проводится с 2011 года.
В жюри 200+ специалистов из агентств и компаний-заказчиков, причём не только из России.
Как выбираются победители:
- Раз в год.
- Сначала проводится открытое голосование, по результатам которого составляется лонг-лист. Из него жюри выбирает шорт-лист и победителей.
Номинаций в 2022-м: 29 в сайтах и 11 в мобильных приложениях. Участников в номинации: 8–50.
Конкуренция здесь повыше, чем у Золотого сайта. Минимум участников в номинации — восемь, максимум — сорок семь.
Награды, которые мы будем учитывать: 1–3 места в каждой номинации; за сайты и мобильные приложения — по типам и отраслям.
Российский конкурс. Проводится с 2022 года.
Конкурентность:
- В день подаётся около 50 проектов с интерфейсами сайтов и мобильных приложений.
- В жюри попадают проекты, набравшие больше 5 лайков.
- Жюри голосует и выдаёт 1–2 награды в день.
Красную ленточку, аналог Best of Behance, получают 2-3 проекта в неделю.
Награды, которые мы будем учитывать: Красная ленточка в категории «Интерфейсы».
Новый российский конкурс. Первое награждение состоится в мае 2023-го.
Мы уже знаем и состав жюри (119 специалистов — подрядчиков, заказчиков и независимых экспертов), и методику, и участников, даже количество работ.
Как выбираются победители:
- Раз в год.
- На первом этапе жюри оценивает работы по десятибалльной шкале и таким образом формирует шорт-лист — до 10 проектов в номинации.
- На втором этапе каждый член жюри оценивает работы по десятибалльной шкале по трём критериям: результативность (успехи и/или бизнес-показатели); особенности (сложность, необычность); упаковка (содержание и оформление кейса). Первое, второе и третье места определяются путём суммирования всех оценок.
Конкуренция для первого раза приличная: в сайтах на 11 номинаций 325 кейсов, а в мобильных приложениях на 5 номинаций 106 кейсов.
Награды, которые мы будем учитывать: 1–3 места в каждой номинации; за сайты и мобильные приложения.
Международный конкурс. Проводится с 2009 года.
В жюри сотни крутых специалистов из разных стран, представляющих студии, агентства и компании. Например, арт-директор Твиттера.
Как выбираются победители:
- Ежедневно подаются от 5 до 30 работ. Прошедшие проверку становятся номинантами.
- Если номинант получает высокий балл от PRO/CHIEF–аккаунтов, он получает Honorable mention (почётное упоминание). Это несколько сайтов в день.
- Mobile excellence и Developer дают, только если получишь Honorable mention.
- Если сайт получает высший балл, он встаёт в очередь на сайт дня.
- Из сайтов дня выбирается сайт месяца.
- Из сайтов месяца выбирается сайт года.
Колоссальная конкуренция, если сравнивать, например, с нашими «Золотым сайтом» и конкурсом «Рейтинга Рунета».
Награды, которые мы будем учитывать: Site of the day (cайт дня), Site of the month (сайт месяца), Site of the year (сайт года), Developer (разработчик) и Mobile excellence (разработка под мобильные устройства).
Международный проект. Проводится с 2005 года.
Как выдают синие ленточки Best of Behance:
- До жюри доходя проекты, набравший необходимый балл в результате пользовательского голосования.
- Жюри выдаёт четыре ленточки в день.
Конкуренция высокая, работ подаётся много. Правда, есть вопросы к методике оценки (об этом ниже в комментариях экспертов).
Важная особенность Behance в том, что на него выкладывается много чистого творчества — студенческих работ, концепций, дизайна ради практики и так далее. Правда, особенность учёта наград в нашем рейтинге нивелирует эту проблему: модерацию проходят только награды, привязанные к проектам.
Награды, которые мы будем учитывать: Best of Behance в категориях «Веб-дизайн», «Пользовательский интерфейс» и «Проектирование взаимодействия» для сайтов и мобильных приложений.
Международный конкурс. Проводится с 2010 года.
В жюри 140 специалистов из студий и компаний-заказчиков. Естественно, из разных стран.
Как выбираются победители:
- Каждый день подаётся от 1 до 15 работ.
- Набравшие 7+ голосов получают SPECIAL KUDOS. Это где-то 30% работ.
- Один сайт получает сайт дня.
- Из сайтов дня выбирается сайт месяца.
- Из сайтов месяца выбирается сайт года.
Конкуренция меньше, чем в Awwards, но больше, чем в «Золотом сайте» и «Рейтинге Рунета».
Награды, которые мы будем учитывать: Winner of the day (cайт дня), Winner of the month (сайт месяца) и Winner of the year (сайт года).
Международный конкурс. Проводится с 2000 года.
В жюри 500+ человек из 30+ стран.
Как выбираются победители:
- Каждый день судьи в реальном времени оценивают работы по стобалльной шкале, выбирая таким образом кандидатов на сайт дня.
- Проект с самой высокой оценкой (но не меньше 70 при минимум 20 голосах) становится сайтом дня.
- Из сайтов дня выбирается сайт месяца.
- Из сайтов месяца выбирается сайт года — по мнению жюри и народного голосования (две награды).
В день подаётся несколько десятков заявок. Это где-то на уровне CSSDA, даже чуть повыше.
Награды, которые мы будем учитывать: FWA of the day (сайт дня), FWA of the month (сайт месяца), FWA of the year (сайт года) и FWA People's Choice Award (народное голосование).
Старейший международный конкурс. 2000+ экспертов в жюри. Проводится с 1996 года. По уровню сопоставим с Clio, Cannes и Effie.
Номинаций — сотни, претендентов — десятки тысяч. Конкуренция колоссальная, выиграть очень сложно. Тем не менее, российские студии это делали. Например, Red Collar в 2020-м.
Какие есть номинации:
- Honoree — лауреаты премии, что-то вроде шорт-листа. Количество зависит от поданных заявок в каждой категории: бывает два, а бывает и пять.
- Nominees — три-пять работ в каждой категории. Выбираются из Honoree.
- Webby People’s Voice Award — лучший в каждой категории по мнению голосующих онлайн. Выбираются из Nominees.
- Webby Award — лучший в категории по мнению жюри. Это чёртов Оскар.
Награды, которые мы будем учитывать: The Webby Award (главная награда), The Webby People’s Voice Award (приз зрительских симпатий), Nominee (номинант) и Honoree (лауреат) — за сайты и мобильные приложения.
А где остальные конкурсы? Их же намного больше
Их действительно больше. Только в нашем списке их уже около пятидесяти: G8, Серебряный Меркурий, МИКС, Red Dot Design, WOW Awards и другие.
Мы просто не успели все изучить. А у нас принцип: не включать в методику то, в чём мы не уверены.
Летом–осенью мы всё проанализируем и решим, какие попадут в список–2024. Скорее всего, в нём появятся конкурсы, где оцениваются не только сайты и мобильные приложения, но ещё и дизайн, PR, маркетинговые и рекламные проекты. Учитываться они будут в соответствующих рейтингах.
Бл…, где Тэглайн?!
Каждый год нам задают этот вопрос, и каждый год мы отвечаем: у нас нет доверия к награждению, в котором можно подать работу в день церемонии вручения призов.
Можно ещё поговорить про соотношение числа номинаций и участников, но это уже скорее про конкуренцию и сложность получения награды, а не доверие.
Чтобы получить полную картину, мы спросили агентства, что они думают о награждении Тэглайна. Мнения очень разные.
Есть, скажем так, критика:
Нейтральные:
И положительные:
И всё-таки в этом году мы снова не будем учитывать награды Tagline Awards в наших рейтингах.
А Ruward Awards? Он же уже вот-вот состоится же
Мы уважаем RUWARD, но пока не понимаем, что это за конкурс. Возможно, добавим его в 2024–м.
Плюс в этом конкурсе упор на оценку агентства, а мы учитываем только награды за проекты.
По этой же причине мы не учитываем награды вроде студии года в Awwwards.
Что оценивают в конкурсах?
Практически все соглашаются, что в конкурсах оценивается преимущественно дизайн и подача, что бы не заявляли организаторы.
Награды получают проекты, которые произвели впечатление дизайном и крутыми фишечками, а не стройной логикой кода или скрупулёзной проработкой сценариев взаимодействия с продуктом. Хотя бы потому, что у экспертов из жюри слишком мало времени и данных, чтобы оценивать продукт целиком. Зато у них есть глаза и насмотренность.
Что уж говорить про обычных людей, которые голосуют лайками. Эти точно смотрят только на картинку.
Со списком конкурсов разобрались, пора переходить к оценке их наград.
Иностранные конкурсы против российских
В чём проблема? В 2022 году часть иностранных конкурсов вроде как закрыли доступ российским агентствам, а другие вроде как судят нас необъективно. Вроде как. Официальных объявлений от организаторов не было.
Хотя российским агентствам приходили вот такие письма:
Но это запрет оплаты, не участия, и не блокировка аккаунта.
Вот что говорят по этому поводу Михаил Моисеев из SLAVA и Антон Сульский из Vide Infra:
Ходят слухи, что принять участие в некоторых иностранных конкурсах могут только агентства «не из России». Это значит, что при подаче заявки нужно выбрать другую страну.
Но вот история Purrweb:
Вот письмо, которое они получили 17 марта 2022 года:
И письмо, которое получил от Awwwards Михаил Моисеев из SLAVA:
И ещё есть история агентства Dviga:
Так что, в Webby и Awwwards российские агентства не пускают? Тогда непонятно, как в номинанты категории Real Estate в конкурсе Webby этого года попало российское агентство Whitemark.
Очень похоже, что решение «не пущать» принимается не конкурсом, а конкретными людьми, отвечающими за модерацию в конкретный момент.
Мнения и тут разделились.
Есть те, кто считает, что вес наград в иностранных конкурсах нужно снизить.
Другие сомневаются:
И, наконец, есть противники исключения или снижения веса иностранных наград:
Что в сухом остатке? Мы стараемся опираться на факты, а они упрямо показывают: и в 2022, и в 2023 году российские агентства получали награды иностранных конкурсов:
2022: Awwwards — 28, CSSDA — 29, FWA — 3, Behance — 10
2023: Awwwards — 7, CSSDA — 13, Webby Awards — 1
И даже сидят в жюри некоторых иностранных конкурсов.
Мы подумали и поняли, что разделяем мнение против пессимизации иностранных конкурсов. Наш рейтинг должен оставаться вне политики и стимулировать российские агентства участвовать в крутых конкурсах вроде Awwwards и Webby. Поэтому мы не будем снижать вес иностранных наград.
Веса конкурсов и наград в 2023–м
После решения про иностранные конкурсы нам осталось распределить веса наград в каждом конкурсе. Мы любим, когда всё системно, поэтому предложили такие принципы учёта и оценки:
- Учитываем только победы, не упоминания или номинации.
- Награда в международном конкурсе не важнее награды в российском. Никакого пиетета.
- Награда в серьёзном конкурсе с высокими требованиями и могучим жюри из разных стран важнее награды в локальном конкурсе, где, чтобы попасть в номинанты, иногда достаточно заплатить взнос и отправить материалы. Чтобы было понятнее: есть Оскар, а есть Байкальский фестиваль регионального кино.
- Награды в конкурсах, которые проводятся два года и больше, важнее наград в молодых, которые только начинают. Предполагаем, что ответственность и уровень в старых повыше. Молодые где-нибудь да ошибутся, что-нибудь да не учтут. Плюс мы про них мало знаем, сообщество ещё не дало им оценку.
- Награда за сайт или приложение целиком важнее награды за дизайн.
- Редкие номинации важнее частых. Например, сайт года важнее сайта месяца, а сайт месяца — сайта дня.
- Награды в высококонкурентных номинациях важнее наград за номинации, где условно пять претендентов на три места. И это не фигура речи. В некоторых конкурсах агентства практически покупают награды взносом за участие.
- Чем выше место, тем лучше. Это очевидно, но для порядка записали.
Эксперты не со всем согласились, но сильных противоречий не было.
На этом всё. Ещё раз напомню ссылку на новый список конкурсов и наград–2023. И, на всякий случай, на статью про все изменения в нашей методике в этом году.
Если вы с чем-то не согласны, пожалуйста, напишите об этом в комментариях.
Чтобы не пропускать новые статьи, подпишитесь на нас:
Где-то в Мультивселенной Марвел:
«Уважаемые коллеги! К сожалению, мы не можем допустить на конкурс компании, зарегистрированные в США, из-за войн во Вьетнаме, Корее, Ираке, Афганистане, Сирии, Ливии и других нарушений международного права. Мы надеемся, что официальное осуждение этих инцидентов международным сообществом послужит уроком и предотвратит возможные будущие конфликты».
Смешно, если это будет в американском Webby.
А че там в Корее Сирии или Ливии с американцами произошло?
Война
Однако и во Вьетнаме и в Корее и в Афганистане и в Сирии почему-то СССР/РФ тоже участвовали
С одной стороны, жаль, что Тэглайн учитываться не будет, потому что там у нас есть награда, с другой — круто, что обращаете внимание на честность, прозрачность, качество и имеете свою позицию! Отдельный респект за удаление внимания Dprofile, мы туда выгружаем наши проекты и надеемся на получение ленточки.
Кто-то же должен иметь позицию, а не следовать за всеми, потому что «большинство не может ошибаться», правда?
Дипрофайлом владеет агентство, будут ли награды с дипрофайла учитываться этому агентству?)
А то так каждой работе можно выдать)
Отличный вопрос. Да, будут, пока у нас не возникнут аргументированные сомнения в честности Dprofile. Сейчас их нет. И кажется, что это не в интересах Wemakefab. Если они начнут выдавать себе награды, как Брежнев, потеряют проект, потому что в нëм никто не будет участвовать.
Спасибо за развернутый ответ)
Спасибо за хороший вопрос.
Это репутационные риски. Поэтому награды на Дипрофайле выдают члены жюри, которые не имеют отношения ни к агентству, ни к работе в агентстве.
Завышать количество наград, ровно как и занижать — значит быть не объективным.
Пока держим планку на Дипрофайле, точно также как раньше держали её на Awwwards и Behance. Присоединяйтесь! :)
Мы уже размещаем работы :)
Классный личный кабинет, сам дизайн платформы)
Спасибо за приятные слова и что с нами! Дальше — больше :)
Было бы ещё лучше, если бы вы открыли состав жюри 😉
Он может быть открыт вам для ознакомления, чтобы составить мнение об объективности, но вот для самих жюри и для сообщества лучше оставить всё как есть.
Пускай жюри занимаются своим делом, а не отвечают на сообщения из серии "дайте мне награду" или "почему не дали" :)
Спасибо вам за понимание и включение в общий список рейтинга!
Как же много буковок, это просто жесть ...
Сами устали писать.
В тексте статьи указано, что FWA будет учитываться для мобильных приложений, а в табличке по ссылке она отсутствует в этом разделе. Поправьте, пожалуйста.
Точно, спасибо. Вернули.
Награды не надо учитывать в рейтингах. Все прекрасно знают, что есть проекты, что делаются для наград, а есть те - что для клиентов. И клиент - главное препятствие для получения награды. Ну и да, все рейтинги - кривобокие и утлые. Теглайн со своими 800+ работ, что надо оценить в последний день - вообще шуты. Кто в это верит?
По поводу первой вашей мысли: мы учитываем только награды за клиентские проекты. Это решает проблему?
Супер 🙌
Спасибо)
В общем хотелось бы понимания об этой премии, как она будет учитываться в этом году. Было бы справедливее не учитывать Workspace данного года, так как мы понятия не имели о его весе в Рейтинге Рунета
Премия будет учитываться так, как написано в таблице.
Алексей, вы правы. Мы в этом году припозднились с публикацией изменений. Об изменениях в методике–2024 постараемся объявить как можно раньше — скорее всего, осенью.
Просто на будущее, когда вводите новые правила, делайте какую-то черту отделяющую старое от нового. Потому что сейчас вы ввели новые правила, на которые уже нельзя повлиять никак. Обычно если что-то новое придумывается, то пользователем приятно, когда им заранее об этом сообщается, чтобы они могли что-то с этим сделать, а не быть поставлены перед фактом
Всё так. Вы не первый, кто критикует нас за позднее объявление изменений в этом году. Принято.
Все равно странно получилось, что hm/special kudos не учитываются. Их вроде как в общем количестве больше, но на весь мир. А Dprofile, который локальный, и выдает 3 проекта в неделю с лентами - идет в зачет.
Есть статистика, что российские агентства получают HM на Awwwards в гораздо больших объемах?
Special kudos это чит в рейтинге, которым удалось одной студии (не будем показывать пальцем) ворваться очень сильно в рейтинг в 2022 году. Компания не имея серьезных наград и портфолио попала в топ 5, просто потому что под 30 special kudos заимела)) В таких случаях хотелось бы все таки какой то модерации ручной от Рейтинга Рунета, на случай если снова какой-то чит найдется в рейтинговой системе. А этот special kudos дается всегда, это как утешительный приз за то, что вы подали работу на CSSDA, что могло просто продвинуть студию за количество поданных работ, а не за их качество.
Вы слишком хорошо знаете, что случилось со Special kudos 🙂 Всë так.
А вот к ручной модерации мы относимся крайне отрицательно, вспоминая Владимира Семëновича. Дашь себе один раз что-то «поправить» руками, и к тебе уже никогда не будет доверия.
Тут дело не в частоте получения, а в том, что HM — это не совсем чтобы награда. Вас отметили, потому что вы вроде как ничего. Мы же в группе это обсуждали :)
А Kudos и того менее наградный.
Нам хочется поднимать в рейтинге за настоящие награды. Остальное больше похоже на упорное участие и правильный выбор времени подачи работы, как описывал Миша Моисеев, пока хоть что-то не дадут.
директор по развитию Only.... это тот самый Only о котором я думаю?))
Там есть ссылка на Only для исключения разночтений)
навряд ли это тот самый only)
О каком Only вы думаете, Андрей?
Хочется понять как будут учитываться награды тех организаций, в конкурсах которых в этом году уже нельзя принять участие, так как прием заявок закрыт
Уточните вопрос, пожалуйста. Мы учитываем награды за три предыдущие года плюс то, что вы успеете получить в этом году до окончания проверки.
Мы ранее участвовали именно в тех премиях, которые влияли на рейтинг креативности. Премия от Workspace только сейчас попала в ваш список, но мы не можем уже принять участие в этой премии — прием заявок закрыт. Также это новая премия, которой раньше не было на рынке, но вы дали ей почти такой же коэффициент как Рейтингу Рунета и Золотому Сайту, хотя у вас написано в статье, что новые организаторы конкурсов будут меньше получать коэффициент.
1. Нам кажется, что участвовать в конкурсах нужно не только потому, что награды поднимают вас в рейтинге. Но это ваше решение.
2. Вес наград Workspace ниже как раз потому, что это новый конкурс. Вы считаете, что у новых конкурсов вес должен был сильно ниже, чем у старых? Если да, то почему?
Конкурсов много, во всех не научаствуешься) просто грустно, что новые правила от вас играют не в нашу пользу. Еще грустно, что не позвали нас поучаствовать в фомировании новых правил) Мы все таки на 8-ой строчки в вашем рейтинге креативности располагаемся )
Алексей, мы всех звали открыто, не персонально: https://t.me/inside_ratingruneta/298. Взяли всех, кто пришёл.
Не устаём повторять, что нужно следить за агентским каналом :)
Летом будет анализ других конкурсов, и мы с удовольствием возьмём вас в экспертную группу. Напишите, пожалуйста, Александру Тунику в Телеграм: @Tunsson
Спасибо!
Простите, что развонялся тут, надеюсь хоть помог разгоном статьи на vc %)
Наоборот, здорово, что вы всё это написали. Чем больше такой конструктивной критики, тем лучше.
А почему фичеринги убрали?
Это относится и к фичерингу в магазинах приложений, про что вы спросили, и к конкурсам, где работу просто отмечают, что она «не совсем отстой, так уж и быть, вот посмотрите».
Потому что считаем важным учитывать только победы, а не когда набрала «необходимый минимум голосов» или «заслужила упоминание».
Комментарий удален модератором
Виктор Рындин, генеральный директор Wemakefab - он уже пиарщик, а не эксперт.