Как маленькая студия ушла от заказной разработки и стала лидером в анализе данных

Меня зовут Алексей Арустамов, я CEO Loginom Company, которая много лет создает инструменты сложной аналитики для бизнеса. Это системы для глубокого анализа, охватывающие вопросы сбора, интеграции, очистки данных, построения моделей и визуализации. Я расскажу, как наша компания ушла от разработки программ под заказ и заняла нишу разработки ПО, которое помогает анализировать большие объемы данных в самых разных сферах бизнеса.

Мы помогаем клиентам из различных отраслей, как коммерческим, так и государственным, внедрять инновации, принимать более обоснованные и правильные управленческие решения для увеличения прибыли, снижения затрат и предотвращения рисков.

Среди наших клиентов — УРАЛХИМ, ИНВИТРО, Л’Этуаль, Балтика, ERG, Estée Lauder Companies Inc, Tele2, Русклимат, Столото, Ситилинк и другие. Мы выполнили 300+ проектов.

В 1995 году несколько единомышленников основали компанию BaseGroup Labs. Мы разрабатывали программное обеспечение на заказ, на наши услуги был спрос. Но хотелось создать что-то новое, полезное не для одного заказчика, а для всех, как бы пафосно это ни звучало сейчас. Оставалось найти, куда направить свои усилия. И тут жизнь дала нам подсказку.

Для одного из клиентов мы разрабатывали систему управления аптечным складом с модулем отчетности. Для создания каждого отчета надо было написать SQL-запрос, потому что базы данных включали сотни таблиц, но аптечные кладовщики не хотели осваивать программирование. Зря. Не знали они тогда о будущем росте IT-отрасли.

Чтобы заказчик не нанимал аутсорсера для работы с SQL, мы искали способ упростить создание запросов. Наткнулись на OLAP-технологию и сделали прототип OLAP-куба. В нем можно было проставить галочки в мастере и получить любой отчет за несколько секунд. Никакого кодирования и SQL — любой пользователь этому обучался за 10 минут. Еще OLAP-куб позволял рассматривать данные под любым углом, в любой проекции. Это помогало анализировать их более глубоко и широко.

Аптекарям понравилась новая функциональность в продукте, а нам показалось интересным и перспективным направление автоматизации анализа данных. С 1999 года наша компания сконцентрировала ресурсы на разработке систем для бизнес-аналитиков.

Первые приложения мы выпустили в 2000 году:

Через год мы начали отходить от заказной разработки и занялись продуктами для анализа данных.

Разработки предыдущих лет мы собрали в первый релиз пакета прикладных программ Deductor. Со временем в состав пакета вошли приложения:

Программы пакета были интегрированы между собой и позволяли передавать результаты обработки из одного приложения в другое. Не забывали мы и о зарубежных пользователях — добавили многоязычный интерфейс.

В том же 2001 году мы выполнили первые проекты по внедрению системы продвинутой аналитики Deductor в российские и зарубежные компании. В процессе стало понятно, что основная проблема в реальном бизнесе связана не с алгоритмами построения моделей, а с отсутствием части необходимых данных. А в имевшихся данных всегда обнаруживались недостатки: они были неактуальные, несвязанные, противоречивые, содержали информацию, введенную задним числом, с пропусками, опечатками.

Например, для анализа в розничном бизнесе надо знать параметры, влияющие на лояльность клиентов: какие коммуникации с ними были, что они заказывали, что из этого им поставили, какие цены были у конкурентов на момент покупки, проводились ли рекламные кампании. Однако на практике в наличии были только данные о товародвижении.

Чтобы повысить качество данных, мы создали модуль для очистки и предобработки данных RawData Analyzer — он появился в пакете Deductor в 2002 году. Он позволил улучшить качество данных с помощью операций трансформации: заполнения пустых значений, табличной замены, квантования или дискретизации, трансформации к скользящему среднему, преобразования типов, очистки от дубликатов или противоречий.

Например, часто бывало так, что в столбце некоторые данные отсутствуют в силу каких-либо причин — они неизвестны, либо их забыли внести. Из-за этого приходилось убирать из обработки все строки, которые содержат пропущенные данные. Чтобы этого не делать, в программе RawData Analyzer предусмотрено два способа заполнения пропущенных данных:

Повышать качество данных было нужно и важно, но также надо было подумать и о том, как облегчить работу аналитика. Чаще всего аналитик выполнял одну и ту же последовательность действий над разными наборами данных.

Мы решили создать модель, которая бы выполняла заданную пользователем логику. Она получала на вход новый набор данных, обрабатывала его и передавала полученный массив на вход следующему алгоритму.

В результате в 2004 году на свет появился Deductor 4 — платформа, позволяющая без программирования создавать произвольные сценарии обработки из готовых элементов. С его помощью на базе единой архитектуры можно пройти все этапы построения аналитической системы: от создания хранилища данных до автоматического подбора моделей и визуализации полученных результатов.

За первые три года Deductor стал популярным. В 2007 году мы запустили партнерскую программу для компаний-заказчиков и сделали свой образовательный портал. В том же 2007 году вышел Deductor 5, где появились новые алгоритмы, визуализаторы, хранилища данных.

Мы пришли к выводу, что стоит также развивать партнерскую программу для высших учебных заведений, и выпустили бесплатную версию Deductor Academic для обучения студентов-аналитиков.

С нашим продуктом работали РЭУ им. Г. В. Плеханова, НИУ «Высшая школа экономики», Санкт-Петербургский государственный университет, МИРЭА, университет «Синергия» и другие. Надеемся, что с таким инструментом студентам легко дался экзамен по «Аналитике данных».

К 2012 году с помощью Deductor мы выполнили более 50 крупных проектов. Он преподавался в 100+ учебных заведениях, в частности, через систему дистанционного обучения анализу данных. Постепенно стало понятно, что рынок анализа данных меняется слишком быстро: взрывной рост количества данных, новые алгоритмы анализа, популяризация веб-сервисов, распространение смартфонов и планшетов. Deductor перестал удовлетворять потребности пользователей.

Нужно было сделать так, чтобы бизнес-эксперт мог самостоятельно, без привлечения разработчиков, превратить свои знания и данные в компоненты, которыми мог пользоваться он сам и его коллеги. И для этого ему не надо было становиться программистом, учиться писать код и носить толстый свитер круглый год.

Для прорыва требовалась современная платформа с веб-интерфейсом, способная обрабатывать большие объемы данных, с новыми возможностями проектирования, удобной публикацией веб-сервисов. Повторное использование аналитических моделей должно было стать очень простым, чтобы пользователям не приходилось разбираться, как устроены компоненты и алгоритмы.

В 2017 году мы завершили создание платформы, отвечающей этим требованиям. Платформа Deductor превратилась в Loginom, а компания BaseGroup Labs сменила название на Loginom Company.

На платформе Loginom можно проектировать прямо в браузере, использовать готовые компоненты или создавать собственные, обрабатывать большие объемы данных, превращать любой узел сценария в веб-сервис. Это одна из самых быстрых low-code-платформ для продвинутой аналитики, доступная пользователям без знаний языков программирования.

Визуализация сценария движения данных между узлами при реализации сложной, непоследовательной, логики. Построить сценарий можно, перетащив компоненты на полотно и связав их между собой.

В 2022 году Loginom внесли в Единый реестр отечественного ПО. Сейчас Loginom используется в финтехе, телекоме, нефтегазе, промышленности, маркетинге, FMCG, медицине. На сегодняшний день у нас более 40 партнеров, более 100 вузов, где преподается Loginom, развитая экосистема.

Мы стали активно обучать пользователей на нашем сайте через курсы, демопримеры, демонстрации.

В случае с Loginom аналитик может самостоятельно поработать с продуктом, сравнить качество, скорость, удобство интерфейса с альтернативными инструментами и сделать обоснованный выбор. Для некоммерческого использования всем желающим доступна бесплатная редакция платформы — Loginom Community Edition.