Письмо в редакцию: Критические уязвимости российских рейтингов разработчиков мобильных приложений

Читатель vc.ru, пожелавший остаться анонимным, прислал в редакцию письмо о популярных российских рейтингах мобильных разработчиков — с кратким описанием их недостатков и особенностей.

На рынке мобильной разработки негласное правило: не спорить с рейтингами. Победителей не судят, а проигравшие молча зализывают раны. А еще есть я и поле «Безопасный слив инсайдов» на vc.ru. Информация ниже сугубо субъективна. Если любите одуваны и считаете, что рейтинги честные и непредвзятые — дальше не читайте.

Рейтинги важны. Рейтинги небезупречны. Расскажу о критических уязвимостях российских рейтингов разработчиков мобильных приложений.

Критические уязвимости рейтингов

Вот какие рейтинги разработчиков мобильных приложений в почете

1. «Рейтинг рунета»;
2. Tagline;
3. Adindex;
4. Ruward;
5. «Рейтинг рейтингов»;
6. Cnews.

А вот какие есть проблемы, доктор.

«Рейтинг рунета»

Как работает

В личный кабинет компания подгружает все приложения под iOS и Android. Учитывается количество приложений и оценки в сторах. За три недели до релиза рейтинга 2016 года стали учитывать количество приложений для крупных брендов.

Уязвимости

Карточки компаний никто не проверяет

В топ-20 есть дартаньяны, которые безнаказанно присваивают себе по 20–100 приложений западных noname-команд. Да, отследить тяжело. Но можно устроить элементарную облаву. Выберите самое подозрительное приложение из списка, позвоните в отдел продаж подозреваемых и спросите, о чем оно. Вряд ли ответят.

Что еще за NDA

Разработчикам приходится нарушать NDA, чтобы отрастать в рейтинге. Расскажем на примере компании e-Legion.

Проект для «Яндекса» под NDA, о нем нельзя рассказывать в портфолио e-Legion

Топ-сикрет рассекречивается при легком мониторинге «Рейтинга рунета». Вжух, и всем известно, что это за проекты. Если мотануть карточку вниз, еще пару проектов для «Яндекса» можно найти. Но мне лень.

Секрет уже не тот

В этом нет вины «Легиона», ребята вынуждены так делать, чтобы отрастать по другим показателям. В этом вина рейтинга, который ставит разработчиков в такие условия.

Кстати, а кто проверил, сколько приложений «Легион» разработал для «Яндекса»? 20, 10 или 1?

Крупнейшие подрядчики

«При создании рейтинга были использованы открытые источники данных: рейтинг ведущих компаний российской экономики „Эксперт-600“, рейтинг 2000 крупнейших мировых компаний, подготовленный Forbes, а также рейтинг 200 крупнейших частных компаний России».

Идея хорошая, исполнение хромает. Давайте посмотрим, какие крупнейшие подрядчики у RedMadRobot.

Скрин из карточки на «Рейтинге Рунета»

Так для кого эти приложения-библиотеки? Для крупных подрядчиков или для компании «Альпина Диджитал», как указано на скрине ниже?

А в сторе написано, что не для «Альфа-банка», а для «Альпины»

Безусловно, «Роботы» молодцы. Воспользовались корявой формулировкой организаторов рейтинга. Может, они бы и без «Альпины» забрались на вершину хит-парада крупнейших. Но представители рейтинга-то куда смотрят?

Больше приложений

Все читают методологию по-своему. Кто нагнет систему, тот и выиграл. В «Рейтинге рунета» можно учитывать одно и то же приложение несколько раз. Просто подгрузите ссылку не только из русского стора, но и из зарубежного. Так почти все делают, покажем на примере Touch Instinct.

Touch Instinct пользуется уязвимостью рейтинга

Tagline

Как работает

Редакция Tagline светит фонариком прямо в причинное место компании-участнику. Учитывается каждая мелочь: количество работников, проектов, наград за последний год. В преддверии рейтинга обладатель личного кабинета в Tagline может рассказать представителям, кого считает лучшим подрядчиком.

Уязвимости

Завистники

Некоторые в анкетах специально ставят лидеров рынка на последнее место, чтобы подтасовать результаты.

Можно косвенно влиять на результаты

Например, как одна из компаний в прошлом году. Перед рейтингом навели кучу хайпа о слиянии с другой компанией. Рекламой заполонили всю ленту в Facebook. Как итог — нарекламировали на хорошее место.

Adindex

Как работает

Строится на основании интервью с клиентами. Учитываются только крупные заказчики. Формируется три среза: знание, сотрудничество, качество.

Уязвимости

Не учитывается мнение некоторых клиентов

Методология, по которой отбираются крупные заказчики, неявная. Многих клиентов отсеивают перед интервью.

Доступ незащищен

Никакой проверки электронных адресов заказчиков не было, всё принимается на веру.

Недовольство клиентов

Заказчикам задают много сторонних вопросов. Например, о годовых бюджетах компании на маркетинг. Клиенты жалуются.

Круглый год

Adindex суров. Приходится каждый год находить энное число клиентов для анкетирования. А это сложно, рейтинг интересуют только крупные заказчики. А дергать одного и того же клиента несколько раз подряд просто некрасиво.

Ruward

Как работает

Это рейтинг рейтингов. В нем учитывается позиция компании во всех остальных рейтингах мобильных разработчиков. Открытая, бессердечная ж ты методология.

Уязвимости

Кто это

В срезах часто встречаются компании, которые не имеют отношения к мобильной разработке. Или закрылись. Из-за этого игроки рынка оказываются на несколько позиций ниже.

Без меня женили

Окажешься на 89 месте в какой-нибудь золотой сотне. Надо тебе это или нет, не спрашивают.

Размер имеет значение

Не совсем понятно, как распределяются веса некоторых рейтингов. По каким критериям ставят звездочки — загадка.

«Рейтинг рейтингов»

Как работает

Это маленький Ruward. Делают то же самое, но агрегируют меньшее число рейтингов: «Рейтинг рунета», Tagline, Cnews. Если бы учитывали еще и Ruward, рейтинг бы сломался от напряжения. Интересный момент — открытый срез мнений компаний-лидеров.

Уязвимости

Мало пользы

Где-то мы уже видели эти механики.

Скрытая угроза

Рейтинг делает кое-что серьезное. Затрагивает личные отношения между разработчиками. На таком маленьком рынке опасно играть в открытую.

CNews

Как работает

Каждый год рейтинг формируется в рамках обзора «Мобильность в бизнесе». Строится на основе годовых оборотов компании.

Уязвимости

Не просят пруфлинк

Уязвимость всего одна. Организаторы вообще не проверяют обороты, которые ложатся в основу рейтинга. Данные публикуют на полном доверии. Рейтинг давно уже превратился в игру «Кто не зассыт и нарисует цифру больше».

***

Трафик рейтинговых агентств растет, доходы тоже. Пора подумать о том, как улучшать продукт. Вот вам мой новогодний стимул. Жду реакцию.