Сергей Громов: «Мы проверяем информацию, чтобы получить достоверную картинку российского BI»

Интервью Modus с основателем исследовательского проекта «Круги Громова» (BI-круг Громова, ETL-круг Громова, СУБД-круг Громова), CEO компании BI Consult Сергеем Громовым о внутренней кухне исследования, изменениях в методологии и доверии к рейтингам.

Расскажите, почему у вас появилось желание исследовать BI?

Наша компания (BI Consult – прим. авт.) существует с 2009 года. Заниматься одним и тем же 15 лет достаточно надоедает, это рутина, а хочется расти и захватывать новые сегменты. Так как я человек многогранный, то стараюсь представлять основной бизнес дополнительными сайд-идеями и проектами. Одна из таких идей была исследовать рынок.

Первое исследование мы стали делать примерно 5 лет назад. Соответственно, тогда никто не знал про русский BI, а я так или иначе с директорами всех компаний был знаком лично.

И было две идеи. Одна идея была познакомить клиентов с рынком российского BI. У меня были связи со всеми директорами. Мы встретились в Москве на кухне, и я им презентовал это исследование. Все согласились в нем участвовать и, собственно, так все и получилось.

Вторая идея была в создании некого мероприятия. До работы в собственной компании я тоже лет 10-15 работал в корпоративных продажах IT, но занимался «железом»: HP, Avaya, Cisco, вот такие бренды.

И когда ты 10-15-20 лет участвуешь в маркетинговых мероприятиях, то понимаешь, что большинство из них унылые и скучные. У меня появилась идея сделать собственное, бодрое мероприятие: позвать туда стриптизёрш, сделать файер-шоу, огни, как на рок-концерте. Сделать платформу с боями в грязи, то есть реально посадить туда генеральных и коммерческих директоров вендоров, и пусть они там дерутся.

И мы даже согласовали бюджет, но именно в этот момент грянул ковид. Конечно, мы отложили это роуд-шоу. В следующем году тоже было не до него: удаленка, похоронные колокола в Италии, вот это все. И через год, когда мы к этому вернулись, уже было не то настроение. Идея так и осталась идеей.

Легко ли соглашались вендоры участвовать в новом исследовании?

Здесь сыграло свою роль то, что я пришел «не с улицы», меня знали. Я пригласил их всех лично, позвонил каждому. Это было мероприятие типа «открытой кухни»: мы вместе приготовили блюда, поужинали и заодно все обсудили.

Эта встреча, ну и вообще исследование, полезны не только клиентам, но и вендорам. Во-первых, они все познакомились, до этого никто друг друга не знал.

Во-вторых, они с помощью этого исследования тоже стали следить за успехами друг друга. Вендоры получают большую пользу от того, что они видят, как развиваются соседние продукты и рынок.

Как вы меняли методологию исследования с течением времени?

Начали мы с того, что на прямую пытались копировать Gartner. Это не секрет: до этого я читал их отчеты 10 лет, мы их использовали в работе. Поэтому в первом исследовании взяли часть их методологии, например, разбиение по блокам. И первый круг был построен целиком на сборе и сравнении информации о продуктах и вендорах. То есть мы ее особо не проверяли.

Дальше, естественно, мы стали изменять и улучшать технологию от года к году, внедрять все больше и больше критериев.

Вначале это были просто чек-листы. А потом мы получили команду программистов, которые сделали опросники более предметными и экспертными.

И, например, в последнем круге методология самая совершенная на данный момент.

Чем отличается методология последнего «BI-круга Громова 2023» от других рейтингов?

Во-первых, огромное количество критериев, во-вторых, в нем есть выполнение технического задания для вендоров. Мы лично все перепроверяли. Кроме того, у нас появилось тестирование систем нашими руками, и мы стали общаться с аудиториями. У нас появилась аудитория в 100 тысяч респондентов, внедривших российский BI. Мы их опросили и создали шкалу, типа NPS.

А с чем связано то, что вы изменили подход и стали сами тестировать каждый продукт?

Много факторов. Один из них - это то, что вендоры тупо могут соврать. Не секрет, что все вендоры, заполняя чек-листы, пишут либо слово «да», либо «да», запятая, «будет» - два типичных варианта ответа на любой вопрос. И поэтому наша задача проверить, действительно ли это «да».

Второй момент – это то, что мы стали партнером многих вендоров, и нам было интересно пощупать российский BI.

Достаточно скучно делать одно и то же постоянно. И, например, если продукты не будут развиваться, то мы, наверное, в следующем году пропустим и выпустим следующее исследование через два года. Хочется, чтобы проект приносил пользу, а не «для галочки».

Есть ли планы по исследованию новых сегментов, например, облачного BI?

Если вы следите за тем же Gartner, например, то они тоже периодически добавляют новые сегменты. То есть они постоянно перебрасывают вендоров из разных квадрантов, добавляют новые. Например, был квадрант BI, а через год этот квадрант называется Data Analytics.

Мы, естественно, тоже будем это делать. То есть, например, если мы увидим того, кого можно сравнить с Modus BI Cloud в этом сегменте, то выделим это в отдельный блок. Было бы интересно.

Вы упомянули, что с изменением методологии прибавилось количество сотрудников, которые занимаются исследованием. А как изменилось количество ресурсов в целом?

В первом «Круге» все сводили один-два человека, потом подключилась команда программистов – еще пять человек.

Последнее исследование делали примерно 20 человек: 5-6 аналитиков, остальные программисты.

И если раньше у нас каждый программист вел один продукт, то теперь он ответственен за одну фичу во всех продуктах. То есть, например, программист оценивает какой-то line chart, но во всех системах, чтобы была видна разница. Как категорийный менеджер в ритейле.

Время тоже увеличилось. На последнее исследование было потрачено 3,5 тысячи часов. Финансируют это вендоры, те, кто пользуются платной рекламой. Им, естественно, большое спасибо и уважение, что они поддерживают наш проект.

Обвиняли ли вас когда-нибудь в необъективности, потому что некоторые вендоры ваши партнеры, и они тоже заинтересованы в результатах?

Конечно, это было, но не в таком явном виде. То есть, сами вендоры нам это никогда не говорили. Ценность нашего исследования как раз в том, что мы интегратор – работаем с этими продуктами сами и действительно можем оценить, что хорошо и что плохо.

И если посмотреть, например, оценки «BI-круга Громова» в открытых источниках, ему доверяют. Потому что мы действительно прорабатываем рейтинг, обсуждаем в нескольких итерациях и объясняем, почему он сложился именно так.

Но недавно анонимы (мы конечно догадываемся, кто это был) написали, что лучше проводить исследование типа G2, на основании открытого голосования, потому что оно честнее субъективной оценки Gartner.

Да, исследование — это субъективный взгляд. Просто я взял на себя некую ответственность перед народом, как Путин. Мы стараемся это делать качественно и максимально правдиво. И если у кого-то есть претензии, даже в открытом поле мы готовы их выслушать и обсудить доказательно.

А бывали ли случаи, когда вендоры выдавали неправдоподобную информацию о своих продуктах либо проектах или предлагали некую сумму за победу?

Ну, конечно, да, деньги предлагают, но я от них отказываюсь. Пока так много не предложили, чтобы я согласился.

Но на самом деле это все шутки, потому что подтасованные результаты и проплаченные рейтинги - это скучно. Мне нет смысла в этом исследовании продавать места, потому что за рекламу в нем нам и так платят. То есть, это исследование абсолютно монетизируемо.

А участие в нем абсолютно бесплатно. И у таких участников не будет ни понижающих рейтингов – мы всех оцениваем одинаково.

И конечно, вендоры врут постоянно. Иногда осознанно завышают показатели, иногда нет – просто маркетологи заполняют чек-листы вместо технарей, и получаются ошибки. Но на самом деле это плюс-минус нормально, я не вижу в этом каких-то мега-проблем: мы все равно все проверяем. «Круги» ценны именно тем, что содержат достоверную информацию.

А вы сами смотрите другие исследования или рейтинги?

Безусловно, я полностью погружен во всё и читаю все профильные источники. Все, что вы можете себе представить. Я могу сказать, что я лично общаюсь с представителями всех зарубежных исследований - BARC, Gartner, ITC. Российских тоже знаю лично, некоторые приходят к нам, чтобы посоветоваться по методологии.

Есть ли критерии, по которым можно понять, доверять или нет какому-то конкретному рейтингу?

Если вы видите, что рейтинг полный и не содержит очевидных ошибок, например, если составители не путают интеграторов с вендорами, понимают, что такое продукт, то, скорее всего, у них должна быть неплохая методология. Если в компании есть технический специалист, привлеките его для оценки.

Вендорам, на самом деле, нужно самим говорить своим заказчикам, каким исследованиям нужно доверять. Потому что клиент не видит «внутренней кухни», а вендоры в нее погружены. Например, они видят все наши чек-листы, для них методология исследований более понятна и прозрачна. Это конкретные баллы по конкретным параметрам. Вы защищаете эти параметры, делаете техническое задание, работаете с нами в связке, знаете наших людей. И это создает, грубо говоря, доверие к нашему рейтингу. Поэтому, если у других исследований есть похожая история, то тогда, наверное, их стоит просматривать.

В предисловии к «BI-кругу Громова» написано, что исследование призвано помогать заказчикам с выбором продукта. Отслеживаете ли вы влияние рейтинга на выбор продукта?

Да, мы проводим исследование, чтобы заказчик мог выбрать более качественного вендора. Один из плюсов нашей компании в том, что мы имеем возможность распространять исследование на большую аудиторию - больше ста тысяч. Это некая холодная база, которую мы постоянно актуализируем и в общении с ними понимаем, откуда они берут информацию. Я лично участвую в части встреч.

Соответственно, конечно, мы спрашиваем, как вы выбираете, что вы используете и про конкретно «Круг». Отзывы хорошие. Кругом пользуются все, его скачивают.

Плюс у нас есть куча разных ресурсов и точек влияния: YouTube-каналы, Telegram, поддержка СМИ и так далее.

Нашими методологиями пользуются разные ассоциации вендоров, мы общаемся напрямую с госкомпаниями типа Минцифры, с ассоциациями: мы им предоставляем результаты нашей работы. Поэтому я считаю, что наше исследование очень востребовано.