myBI Connect — выгружаем данные уже 6 лет

Привет. Это Сидоров Алексей из myBI Connect. Мы занимаемся выгрузкой данных в облачные хранилища в формате сервиса по подписке — обеспечиваем аналитиков и специалистов по рекламе актуальными данными, которые далее пользователи наблюдают в аналитических отчетах и на панелях мониторинга.

Пару недель назад нам исполнилось 6 лет! Да-да, большое спасибо, если вы сейчас порадовались за нас, значит мы уже знакомы ;) Если нет - возможно, сейчас самое время…

Вообще, мы не большие любители писать длинные посты с итогами на широкую аудиторию, даже с этим затянули слишком… Но сейчас многое совпало в один момент, поэтому самое время рассказать о некоторых результатах.

Итак, 6 с небольшим лет назад мы анонсировали myBI Connect в своем блоге Power BI Russia -

Сервис на самом деле появился чуть раньше, но это последний сохранившийся анонс. Он очень долгое время сохранял актуальность, даже блондинка покинула нашу главную страницу только в начале этого года. Долгое время мы предоставляли пользователям облачные базы данных исключительно в облаке Microsoft Azure и накапливали постоянных пользователей. Но сейчас курс нашего развития сильно изменился и этот пост, в частности, о том, как поменять технологические рельсы у аналитического SaaS-сервиса.

Так получилось, что именно в наш день рождения мы завершали наш плановый перенос последних пользовательских баз на ресурсы Яндекс.Облако (поэтому и с постом затянули). Это облако появилось в функционале сервиса прошлой весной и мы начали активно “агитировать” пользователей в сторону перехода. Самых сознательных перенесли по их просьбе в течение полугода, потом ограничили выгрузку данных по требованию закона о ПД, это заставило переехать еще один большой пласт пользователей, и в итоге пришли к решению “стрелять в ногу” и полностью уходить с MS Azure, то есть переносить базы пользователей в одностороннем порядке в новое облако под управлением новой СУБД - PostgreSQL, вместо старой MS SQL (даже если эти наборы букв для вас пока ни о чем не говорят - чуть позже я объясню некоторые особенности и загвоздки).

Пару месяцев назад мы писали об этих планах в своем блоге -

А спустя какое-то время получили информацию от дистрибуторов о прекращении возможности продления подписок Mircosoft в одностороннем порядке с 1 июля. На нас это не отражалось, но время для окончательного съезда, похоже, мы выбрали верно. Некоторые наши пользователи потеряли свои базы, которые оплачивали через дистрибуторов. Здесь оригинал -

В итоге к нашему 6-му дню рождения мы подошли с полностью обновленной технологией хранения данных. В течение первых 5-ти лет мы накапливали пользователей и их базы исключительно в Azure, а сейчас их не осталось там совсем!

Вот тут актуальных ролик с обзором наших текущих возможностей всего за 10 минут.

Спойлер - с Power BI базы работают почти так же нативно и без шлюза.

Ну и что? - cпросите вы. Да кому вообще какая разница, где там, что хранится? Где отчет? Где прибыль?!

Тут как раз вступают в дело особенности СУБД. Мы предоставляем сервис, который ежедневно обновляет данные в хранилище и, единожды корректно настроив его, он будет работать стабильно без большого внимания к себе. Пользователи на основании наших данных строят отчеты, они обновляются автоматически и ломаются чаще всего по независящим от нас причинам, например, если меняется пароль в каком-нибудь сервисе и, как следствие, у нас “отваливается” авторизация.

Я веду к тому, что мы накопили некоторое количество “старых” пользователей, которые годами использовали сервис (вот недавно мы переводили договор 5-ти летней давности на оферту с общими условиями). А они, в свою очередь, накопили большое количество разных отчетов и подключений к нашим базам, которым суждено было прекратить работать после переезда...

Небольшой экскурс -

Во-первых, при миграции БД меняется ее физический адрес и чаще всего пара логин/пароль, которые необходимо заменить в каждом подключении. Но это небольшая часть проблемы.

Во-вторых, кроме размещения менялся еще и тип СУБД - PostgreSQL вместо MSSQL. У них есть множество отличий, но самое главное это доступная длина полей, которая оказалась меньше той, что использовали мы, а это значило, что после миграции, которую мы предоставляли пользователи получали базы с “обрезанными” названиями столбцов, а их текущие отчеты были настроены на столбцы со старыми названиями.

То есть нужно было глубже залезать в каждый отчет, чтобы он снова заработал. Это грозило нам потерей части пользователей, у которых отчеты работали давно и были сделаны аналитиками, которые отошли от дел или "потерялись". Именно поэтому решение было не самым простым для нас, мы понимали, что начнется естественный отток. Но сейчас, конечно, кажется единственно верным решением, а эффект не оказался таким губительным, как мы ожидали.

Стоит немного о результатах рассказать? За 6 лет мы не получили массовую известность и не монополизировали рынок, как мечтали; но и не развалились вопреки некоторым ожиданиям (привет, эксперты из ФРИИ!;). Мы делаем свою работу, сервис ежедневно обрабатывает данные нескольких нескольких сотен проектов, их используют квалифицированные аналитики, чтобы далее широкое число пользователей могли наблюдать их в отчетах, делать выводы и принимать решения.

Мы пережили: стартаперское безденежье при собственном финансировании, несколько офисов и полностью удаленную работу команды, поток псевдо-аналитиков из онлайн школ, офис Microsoft в России, пандемию, переезд в новое облако и не планируем останавливаться на этом, приключений еще ожидается много.

Но мы, конечно, не идеальные - получаем от пользователей относительно немало претензий и предложений. Часть из них связана со сторонними ограничениями, часть с нашими собственными проблемами (не без этого) и мы стараемся исправлять их в относительно сжатые сроки, но абсолютное большинство связано с нашим сервисным подходом.

За время взросления мы попробовали разное - тестировали разные гипотезы, то есть;) Шли на поводу клиентов по разным условиям и направлениям, которые нам казались перспективными. Новый продукт на рынке - сами понимаете, неизвестно какие направления и решения в итоге будут востребованы и прибыльны, а ФОТ висит камнем... Но сейчас пришли к тому, что следуем общим условиям работы и процессному подходу для всех пользователей без торга и технологических уступок. Все наши попытки в технологическую лояльность приводили к появлению проблем для нас или других пользователей из-за какого-то нештатного применения сервиса.

Поэтому разговоры о том, что клиент всегда прав, о том что мы не клиентоориентированы или не решаем какую-то частную пользовательскую задачу, мы сводим к тому, что сервис предоставляется “as is” на основании оферты и общих условий для всех. А еще myBI Connect дает возможность бесплатного тестирования, чтобы разобраться, подойдет он или нет, и далее перейти в платные пользователи на условиях оферты или отказаться. В первую очередь, мы нацелены на стабильную работу всего сервиса и всех его пользователей, чем на решение частной пользовательской задачи.

Такой подход позволяет нам выгружать данные вполне стабильно. Как я говорил, некоторые пользователи годами не заходят в наш интерфейс, но вполне успешно используют данные в своих отчетах, и в целом остаются этим довольны. Конечно, после того, как уделяют достаточное количество времени, чтобы разобраться с логикой работы самого сервиса и применением данных.

В течение 5-ти лет мы регулярно отслеживали NPS среди наших пользователей. Опрос мы показывали постоянным клиентам (тем, которые перешли с триала на платный аккаунт) с регулярностью раз в полгода примерно. Его результатами нам не стыдно поделиться -

Нельзя сказать, что эти данные сильно репрезентативны - каждая точка это всего 30-40 ответов. У нас менялся функционал, справка, качество чата поддержки и, конечно, "подготовленность" аудитории к работе с данными тоже была разной - с этим мы связываем колебания, но в целом можно сделать вывод, что постоянные пользователи были нами довольны ранее.

А что сейчас? Старый сервис с опросом у нас отвалился и в преддверии этого поста мы решили провести еще один опрос в нашем телеграмм канале. В нем аудитория шире - есть и постоянные пользователи, и триалы, и просто “сочувствующие”, которые остались в канале. Вот свежие результаты:

49% - не самый лучший наш показатель, но и не самый плохой, с учетом того, что мы только что практически насильно перетащили базы части пользователей в новое облако и заставили их перенастраивать отчеты, под воздействием внешних факторов и с заблаговременным предупреждением, конечно, но тем не менее…

Исторически сложилось, что myBI достаточно тесно связана с Microsoft и Power BI в частности. Некоторое время мы занимались внедрением отчетов на этом инструменте, мы ведем один из самых крупных русскоязычных блогов powerbirussia.ru, даже первый анонс появился именно там для пользователей Power BI. В целом, инструмент прекрасный, способствует нашему развитию, поэтому мы долгое время “ехали на его волне”.

У нас были бесплатные шаблоны и модели для Power BI, мы провели первый аналитический онлайн-хакатон по применению наших данных в Power BI:

А позже и второй, который совместили с обучающим марафоном и большой конференцией по Power BI:

Это привело к тому, что myBI Connect начали воспринимать как некоторую “нашлепку” для Power BI, который для него только и нужен. Даже немного обидно становилось, когда даже партнеры коверкали название, превращая его в “майбиай коннектор”. Коннектором мы быть точно не собирались - так называют обычно процедуры, которые просто разово передают данные между двумя системами. Мы же строим для пользователя хранилище и производим регулярное обновление данных в нем. Использование Power BI вообще не является обязательным - у нас были кейсы, когда пользователи применяли сразу 3 системы визуализации (Qlik, Metabase и Excel), а Power BI среди них не было.

Были кейсы, когда нас использовали как “предбазу” - получали данные с нашей помощью, а потом частично выгружали к себе в datalake и обрабатывали с помощью hadoop.

Конечно, рядовом пользователю отчетов в этом всё не обязательно погружаться. Можно просто приобрести шаблонный отчет в нашем маркетплейсе, развернуть его по инструкции и наслаждаться тем, что он обновляется с нашей помощью.

Но, если вы метитесь в аналитики, и планируете строить такие отчеты самостоятельно - вам нужно понимать, какие принципы заложены в хранилище и как далее работать с данными. Мы, в свою очередь, тоже выросли из своих старых штанишек: показывать симпатичные визуализации и отчеты пользователей, конечно, увлекательно, но мы это уже делали, в целом они все похожи и вы их, наверняка, видели.

Поэтому в нашей следующей статье в нашем блоге мы расскажем о том, почему мы совсем не “коннектор”, о стадиях обработки данных и, самое главное, о том, какие технологические решения помогут вам заменить Power BI… Опубликуем ее в своем блоге, кажется она будет более узко-специализированной, но если вам интересно - подписывайтесь на нас или оставляйте коммент, пришлем вам продолжение.