Что не так с конкурсом «Золотой сайт 2019» или результаты под другим углом

Меня зовут Павел, я со-основатель 100UP (разработка сайтов и рекламное агентство в одном лице). Хотел бы представить вашему вниманию альтернативную презентацию результатов конкурса «Золотой сайт 2019».

Мы принимали участие в конкурсе и после оглашения результатов сразу побежали смотреть какие баллы кто кому поставил, кто занял призовые места в наших номинациях. Довольно быстро мы поняли, что это крайне неудобно и отнимает очень много времени.

В тот же день мы приняли решение «скачать» все результаты и сделать на своей стороне пару таблиц с нужными для нас данными. Делали мы это впервую очередь для себя, чтобы можно было нормально провести какие-то аналитические срезы и утолить свой профессиональный интерес. В процессе работы мы настолько втянулись в этот процесс, что решили углубиться в детали результатов и потратили не мало времени разработчиков, а также заморочились с интерфейсом, чтобы было максимально удобно пользоваться.

Возможно, эта информация поможет участникам конкурса понять, как взять награду в следующий раз, а организаторам найти узкие места в голосовании и сделать конкурс более справедливым.

У нас нет цели негативно повлиять на имидж конкурса, организаторов или членов жюри, а также поставить под сомнение результаты конкурса. Мы провели аналитическую работу и хотели бы поделиться результатами этой работы.

Обратная связь от организаторов, председателей и членов жюри

В процессе работы над отчетом мы формировали список вопросов на основании сомнительных решений в голосовании. Это именно те вопросы, которые мы хотели задать организаторам и судьям, ответы на которые показали бы насколько справедливые оценки получали конкурсанты.

Конечно, в первую очередь мы связались с самыми главными людьми в конкурсе. Это были председатели жюри Денис Ломов (Red Collar) и Александр Богданов (AGIMA). Но к большому сожалению и нашему удивлению, председатели не захотели пойти на диалог.

Мне кажутся все вопросы предвзятыми. Они выглядят будто кто-то недоволен результатами своего участия. Поэтому я не буду отвечать на них.

Денис Ломов (Red Collar), Председатель жюри

Пример вопросов, на которые не захотел ответить председатель жюри Денис Ломов:

  • Выкладывали ли где-то инструкцию/памятку/регламент по голосованию для жюри? И был ли вообще такой документ?
  • Кто составлял список жюри, как можно попасть в список жюри?
  • Номинация «Городской портал для предпринимателей» какая-то совсем странная, которой оказалось только 2 работы… что это такое?
  • Некоторые жюри оценило огромное количество сайтов (200, 300, 400 и даже больше 500), а кто-то всего лишь 1,2, 6, 36, 48. В мобильных приложениям похожая ситуация. Действительно ли, оценивания такое огромное количество проектов, жюри по всем проектам могут поставить объективную справедливую оценку, а не просто быстро оценить по ощущениям только главной страницы без детального изучения проекта?
  • По какому алгоритму распределялись работы для голосования между жюри? Например, Абрамов Дмитрий/Абрамов Дмитрий оценили по 221 приложения, Тютюников Владислав/Соколов Константин оценили 540 и 449 сайтов соответственно? Почему у них так много проектов для оценки?
  • За какие-то проекты голосовало 14 человек, а за какие-то 7. С чем это связано?
  • Сайт KFC (https://www.kfc.ru/) взял золото в номинации «Магазин розничной торговли». Является ли он магазином розничной торговли?

Я прокомментирую статью уже после выхода.

Александр Богданов (AGIMA), Председатель жюри

Похожий список вопросов был задан другому председателю жюри Александру Богданову, но он также отказался комментариев, ссылаясь на то, что ему важно заранее увидеть статью и он не может давать комментарии, так как не видит в каком контексте будут размещены его ответы. Но пообещал дать комментарии после того как выйдет статья. Если ответ будет, то мы его опубликуем в этой статье.

Вера Бородкина
Организатор конкурса "Золотой сайт"

Неоднократно пытался связаться с Верой, которая полностью курирует конкурс, но так и не получилось выйти на связь. Писал в личку FB и в комментарии постов, писал на ее корпоративную почту РАЭК, которую мне дал один из создателей конкурса, но все мои старания были напрасны.

«Узкие» места в конкурсе

Я очень надеюсь, что в следующий раз организаторы учтут все эти моменты, чтобы сделать конкурс чуточку объективнее.

1. Жюри голосуют за свои проекты или проекты, в которых принимали участие

Я пообщался с некоторыми членами жюри по этой проблеме и вот что получилось:

  • в одном случае жюри ставил оценке своим проектам по ошибке, так как не знал, что нельзя голосовать за себя и был уверен, что организаторы конкурса исключат его оценки. Но после выборочной проверки нами было обнаружено, что эти оценки были учтены и проект взял призовое место.
  • в другом случае, член жюри намерено голосовал высоким баллом за свою работу, так как он уже по факту не работал в компании (хотя в списках жюри он был закреплен именно за этой компанией), которая выставляла эту работу на конкурс. Также, он был указан соавтором данной работы в кейсе на сайте компании разработчика. Данная работа аналогично заняла призовое место и если исключить эту оценку, то этого призового места не было

2. Много работ и мало времени для оценки

Невозможно качественно оценить 300-400-500 сайтов или 200-300 мобильных приложений одним членом жюри за несколько дней. А именно в таком объеме жюри и оценивало проекты.

3. Заведомо низкие оценки

Если для оценки проекта требуется попасть в закрытую часть проекта, а доступа никакого нет, то некоторые члены жюри ставили 1 балл руководствуясь тем, что у них нет доступа и следовательно они не могут оценить.

4. Проекты не соответствуют своим номинациям

  • Сайт KFC (www.kfc.ru) взял золото в номинации «Магазин розничной торговли», хотя таковым не является

  • Сайт Снежная Королева (designers.snowqueen.ru) взяла целых 4 награды в разных номинаций, но части номинациям не соответствует. Например, Бронза в номинации «Интернет-магазин розничной торговли», хотя этот проект НЕ является интернет-магазином, так как там нет возможности покупки. Или Серебро в номинации «Лучший персональный сайт», так как сложно назвать это персональным сайтом, одновременно завоевывает Бронзу в номинации «Сайт магазина розничной торговли» так это персональный сайт или сайт магазина?
  • Дальше мы не стали изучать несоответствия, предполагаем, что подобное еще есть

5. Работы в основном оцениваются по принципу нравится/не нравится

Оценка работ осуществляется по принципу поставить метку у нужного балла от 1 до 10, что по сути своей означает поставить субъективную оценку нравится/не нравится. Если бы были конкретные критерии оценки как с точки зрения дизайна, так и с технической точки зрения, то итоговый балл был бы более объективным.

6. Результаты конкурса не меняются после обнаружения грубых нарушений

В моем понимании все должно быть как в спорте: Выиграл, Проверили на допинг, Лишили награды. А тут получается, что есть правила, а на них особо никто не смотрит и организаторы конкурса не несут никакой ответственности перед теми, кто играет по правилам и платит деньги за участие в конкурсе.

7. Организаторы и председатели жюри не выполняют в полной мере свои обязанности

Организаторы не следят за тем, чтобы правила выполнялись должным образом или следят, но очень некачественно. Роль председателей я совсем не понял. Чем председатель отличается от члена жюри?! Странно выглядит то, что все грубые нарушения у всех на глазах, но никто не обращает на это внимание, но скорее просто нет времени всем этим заниматься.

Какие данные можно посмотреть в отчете

В отчете данные представлены в виде следующих таблиц:

  • Список работ
  • Список жюри
  • Список разработчиков
  • Кто ставил самые высокие баллы
  • Кто ставил самые низкие баллы
  • Жюри, которые голосовали за свои сайты
  • Сколько раз ставили тот или иной балл

В некоторых таблицах есть следующие возможности:

  • поиск по названию проекта или имени разработчика
  • поиск по номинациям
  • показывать только победителей
  • сортировка по баллам и наградам
  • детальная страница члена жюри (показываются все его оценки по всем проектам)
  • детальная страница компании разработчика (показываются все его оценки по всем проектам)

О конкурсе

55 номинации, 233 компаний участвовало, 548 проектов подано, 42 жюри в сайтах и 19 в мобильных приложениях.

~4 932 500 рублей общая выручка от размещённых проектов*

* Стоимость подачи любой работы в любую номинацию фиксирована (7 000₽до 1 октября, с 1 октября —10 000₽). Берем усреднённое значение 8 500 рублей как стоимость подачи сайта в одну номинацию.

Заключение

Вся информация представленная на нашем сайте 100up.ru сформирована автоматически на основе собранных данных с сайта goldensite.ru и вручную никакие корректировки не вносились. Если вдруг вы заметили ошибку, то просим вас сообщить об этом и мы скорректируем данные.

Агрегация данных производилась только с единственной целью, чтобы представить результаты конкурса в более наглядном и удобном виде. Все остальные выводы это лично мое мнение, основанное на разговоре с председателями и членами жюри, основателем конкурса и тем результатам, которые все видят на сайте goldensite.ru.

Пользуясь случаем, хотел бы рассказать про сервис для тестирования адаптивной версии сайта iloveadaptive.com. Мы добавили туда довольно много возможностей, которые позволяют упростить тестирование адаптива и сравнивать дизайн-макеты с html-версткой.

По всем вопросам можно писать сюда facebook.com или моя почта [email protected].

0
17 комментариев
Написать комментарий...
Отнюдь

вроде взрослый, а в конкурсы веришь

Ответить
Развернуть ветку
Пётр Фёдоров

Респект за вашу работу! Считаю, что все вопросы к жюри абсолютно справедливы и отсутствие ответов на них только подтверждает, что нет объективных критериев для выбора, кроме субъективных "нравится/не нравится".

Ответить
Развернуть ветку
Ватник в Америке

Шок, сенсация: люди субъективны. Это видно по графику какие ставили оценки, в основном это 6-8, что говорит как раз о полной импотенции жюри, ибо ставились они скорее всего так: "не ну норм, мне не нравится, но вроде в тренде всё, короче 7 чтобы не обидеть никого и себя не выставить идиотом".

Конкурс, где жюри состоит из действующих сайтоклепателей, которые оценивают своих же коллег по цеху это чушь. Выглядит словно собрались пацаны и сами себе наяривают (ибо больше некому): "вот тут Серега заебись слайдер сделал, ух ух, даааааа, а вооон пацаны из ТОПСАЙТЫЗА100К смотри какой отсосный магазин сделали, вот умора".

Ответить
Развернуть ветку
Екатерина Корчагина

Вы прямо заморочились! Спасибо за такую крутую детализацию результатов. Очень полезно.

Ответить
Развернуть ветку
Артем Пасько

Интересно посмотреть теперь комментарии организаторов.

В статье достаточно пруфов, что конкурс через одно место работает.

Ответить
Развернуть ветку
Максим Смирнов

Рейтинг Рунета вызывает такие же вопросы. 

Ответить
Развернуть ветку
Екатерина Муханова

Спасибо за исследование. Такие вещи полезно делать, даже если большинство смирилось с низким качеством конкурсов и советует на это забить. Мусолить эту тему не хочется, но как минимум кто-то в следующий раз чуть больше задумается.

Ответить
Развернуть ветку
Pasha Kislova

Ну сделайте свой, самый частный объективный конкурс... 

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Роман Храмов

- награда сделана для обогащения организаторов
- награды влияют на место в рейтинге
- рейтинг сделан для обогащения организаторов (удивительно, но таких рейтингов в забугории нет, про клатч для индусов не говорим)

- в тендеры приглашают без рейтингов и без наград (шок сенсация)

Ответить
Развернуть ветку
Julia Gulyuk

Друзья, система Золотого сайта или любого другого конкурса довольна прозрачна и вроде бы вся информация есть в общем доступе. Скорее всего, именно по этой причине организаторы и не захотели вам отвечать. Гуглите)

Я уже 5 лет подаю работы на конкурсы от разных ИТ-компаний. Конечно, были моменты, когда несколько лет подряд не брали награды. Тогда писала всем жюри, кто оценивал работу в конкретной номинации, и узнавала, почему поставили тот или иной балл. Все ребята шли на контакт и абсолютно адекватно объясняли в фэйсбуке. 

Если будут вопросы, пишите в телеграм @prgulyuk. 

Ответить
Развернуть ветку
Павел
Автор

Про какую информация в свободном доступе вы говорите? 

Ответить
Развернуть ветку
Julia Gulyuk

Например, чтобы попасть в состав жюри, нужно всего лишь заполнить заявку на сайте http://2019.goldensite.ru/news/hooray-for-the-judges/
Конечно, всех подряд не берут в жюри, нужно подтвердить свой опыт в дизайне, быть арт-директором студии или победителем конкурсов прошлых лет. 

Простите, мне не удобно мониторить комментарии. Лучше пишите вопросики в телегу @prgulyuk 

Ответить
Развернуть ветку
Doubletapp

О, наконец то можно посмотреть удобно результаты и быстро узнать на каком месте были твои кейсы!

Спасибо за сервис, очень удобно!

Ответить
Развернуть ветку
Евгений Бойченко

Блин, оказывается, я злой жюрист!

Ответить
Развернуть ветку
Vladislav Tsepilov

А кому-нибудь вообще сдался этот конкурс, кроме самих организаторов и участников?
Уморительно, что такие вещи на серьезных щах обсуждаются.

Ответить
Развернуть ветку
Евгений Бойченко

Кстати, не анализировали какие-то другие конкурсы и премии? Если что, вот полный список.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
ADCI Solutions

К 2023 году на звание самой объективной институции, ранжирующей участников digital-рынка, претендует «Рейтинг Рунета», пожалуй. И мы поговорили с его главным редактором. Один из ключевых выводов: чтобы к рейтингу (или конкурсу, как в вашем случае) было доверие, надо тесно сотрудничать с теми, для кого ты этот рейтинг делаешь.

https://vc.ru/marketing/770554-bez-tesnogo-dialoga-s-rynkom-my-ne-mogli-rasti-dalshe-intervyu-s-anatoliem-denisovym-reyting-runeta-cms-magazine

Ответить
Развернуть ветку
14 комментариев
Раскрывать всегда