60 дней фильмов и сериалов
по промокоду:
VC60
Забрать
60 дней подписки Яндекс Плюс бесплатно для новых пользователей, ранее не оформлявших подписку Яндекс Плюс либо подписки, её включающие, при условии привязки банковской карты. Далее — автопродление: 199 ₽/месяц. Действует на территории РФ. Активировать до 31.10.2021 г. https://hd.kinopoisk.ru/gift. Условия: clck.ru/FMQND.
Личный опыт
Heads and Hands

Как мы обнаружили пропажу десятков миллионов рублей благодаря сквозной аналитике бизнеса

Пример из практики: в одной из крупных компаний собрали единое хранилище данных аналитики и обнаружили, что в старых отчетах где-то потерялись десятки миллионов рублей.

Финансисты смотрели на одни данные, а отдел продаж на другие. В одном отчете учитывались какие-то склады и адреса доставок, а в другом отчете нет. Никто не замечал, что несколько миллионов каждый месяц непонятно где оседали. Это частая проблема на рынке eCommerce. И в этой статье мы расскажем, как не допустить подобного.

Мы в Heads and Hands разрабатываем мобильные решения для eСommerce и глубоко погружаемся в бизнес-задачи клиента. Общаясь с партнерами и клиентами, часто слышим об одних и тех же сложностях с аналитикой. Маркетологи умеют работать с Google Analytics, продажники владеют 1С, а штатные аналитики рисуют красивые отчеты в Excel, но между собой эти системы никак не связаны. Руководители не видят общей картины, и правая рука не знает, что делает левая.

На конференциях модно говорить про сквозную аналитику, Big Data и персональные рекомендации, но на деле мало у кого есть какие-то космолеты. Все до сих пор работают в Excel: выгрузили данные из нескольких таблиц, объединили в одну таблицу и отследили выкупаемость. Базовый уровень.

Мы поговорили с Елизаветой Гринберг о наиболее острых проблемах с аналитикой в средних и крупных компаниях, и как их решать.

Елизавета Гринберг, CEO BI Tool

Консультирует компании по построению сквозной аналитики, по созданию OLAP-кубов, по настройке веб-аналитики и связанных с этим бизнес-процессов.

Ранее руководила направлением eCommerce в интернет-магазине женской одежды и аксессуаров «ZARINA». Отвечала за маркетинг в «220 вольт», работала в компании «Юлмарт» и образовательной сети «Дневник.ру», консультировала сеть ювелирных магазинов «585 Золотой».

Проблемы с аналитикой в средних и крупных компаниях

Нет прозрачной системы аналитики. Данные либо не собирают вовсе, либо собирают бессистемно, без четкого шаблона. Часто не хватает данных, чтобы принимать корректные бизнес решения. Особенно часто это наблюдается в компаниях, которые давно на рынке и изначально не были заточены под web.

Когда нет прозрачной системы отчетности, очень сложно заниматься аналитикой. Огромных усилий стоит связать данные из интернета с данными из офлайн-источников. Сложно понять, по каким признакам их объединить.

Компания обрастает большим количеством несвязанных между собой источников данных. В процессе развития компании появляются все новые инструменты маркетинга, новые команды и отделы:

— сотрудники интернет-магазина собирают данные с помощью Google Analytics или Яндекс Метрики;

— отдел продаж и отдел закупок пользуется ERP-системами, например, 1С;

— колл-центр работает в какой-то CRM-системе: Mindbox или аналоге;

— когда появляется мобильное приложение, там используется уже собственная система аналитики, например, Firebase. Эти системы аналитики используют другую систему хранения данных — Google BigQuery — возникает необходимость рассылать триггерные письма или SMS, и для этого подключают свой сервис — например, Retail Rocket.

Получается «зоопарк источников данных», где каждый источник живет своей жизнью. Отслеживать переходы клиентов между системами приходится вручную.

Аналитикам некогда заниматься аналитикой. Из-за ручного режима формирования отчетов, менеджеры постоянно обращаются к аналитикам с новыми запросами: «А пришли мне вот эти данные». Аналитик их выгружает. «А пришлите мне другие данные». Аналитик их выгружает. «А теперь в первый отчет нужно добавить вот такой параметр». И вместо того, чтобы заниматься анализом, аналитик превращается в «выгружателя данных», и вся система работает неэффективно.

Создание нового отчета из 1С требует отвлекать 1С-разработчиков. Часто аналитика не является приоритетной задачей. У разработчика всегда есть длинный бэклог, в котором задачи по аналитике висят в самом конце списка. Когда же до них доходит очередь, включается еще и ранжирование отделов — аналитические отчеты для финансистов всегда будут сделаны раньше отчетов для маркетологов. Очередь копится, пока решения в компании принимаются «на коленке», без конкретных цифр.

Подробные отчеты за длительные периоды долго выгружать. Допустим, нужно выгрузить данные о продажах за 10 лет с разбивкой по каждому заказу. Такой отчет будет выгружаться из 1С несколько часов или дней. Бывали случаи, когда 1С просто «ложился», так и не выгрузив необходимые данные. Это приводило к коллапсу всей ИТ-инфраструктуры, так как в 1С не только хранят отчеты, но и ведут все операционные процессы.

Функционирование системы аналитики зависит от человеческого фактора. Часто всю эту схему держит в голове один или несколько человек. Они уходят в отпуск или в декрет или вовсе увольняются, и в компании случается апокалипсис: никто не знает, откуда выгрузить нужные данные, какие-то системы забывают оплатить и их отключают, какие-то платформы выходят из строя, и никто не знает как их починить.

Нет единой версии правды: одинаковые метрики не сходятся в разных отчетах. Например, маркетологи оперируют веб-данными и считают оборот в Google Analytics, а отдел продаж смотрят оборот в 1С. И часто вот бывает, что отдел продаж приходит к маркетологу: «Почему у нас опять нет продаж?». А маркетолог показывает: «Вот же, смотрите у меня в гугл-аналитике, я сделал 5 миллионов». А в 1С отображается только 3 миллиона. Куда делись 2 миллиона? Где-то стоят разные фильтры, где-то не подгружаются какие-то данные, где-то информация по-разному интерпретируется. И никто не знает, кто прав.

Как решить эти проблемы

Во многих компаниях, в которые я приходила, система аналитики была построена схожим образом: каждый департамент использовал свою систему аналитики и оперировал своими метриками. Только когда выстраивалась единая система аналитики с единым хранилищем данных, визуализацией и дашбордами, компания получала достоверные данные аналитики и принимала корректные бизнес-решения.

Когда в инфраструктуре компании больше 5 инструментов аналитики, когда выгрузка отчета требует дольше 5 минут, когда специалисту нужно подойти к нескольким людям, чтобы разобраться, где взять какие-то данные — это признаки, что в компании нет прозрачной системы аналитики. В этом случае для решения задач лучше всего подходит построение OLAP-кубов.

OLAP-куб — (англ. On-Line Analytical Processing — интерактивный анализ данных) многомерная база данных, многомерный куб. Каждая грань соответствует определенному типу данных. В зависимости от количества собранных данных, этот куб может иметь сотни и тысячи граней. Другими словами, данные из всех источников аналитики собирают в одном месте и обьединяют, чтобы такой куб можно было крутить в любом срезе в реальном времени, не задумываясь, из какого источника какие данные поступают.

Преимущества OLAP-кубов:— единая система аналитики на уровне организации объединяет данные из всех источников;

— заранее согласованные отчеты обновляются в реальном времени;

— все метрики одинаковы во всех отчетах компании;

— старые инструменты аналитики не требуется менять, ломать и перестраивать.

Пользователь открывает пустую страницу Excel. При первом подключении нужно будет получить доступ к OLAP-кубу и выбрать формат сводной таблицы отчета. В следующий раз все будет загружаться автоматически.

Пользователь получает доступ к OLAP-кубу в два клика

Как внедрить сквозную аналитику на основе OLAP-кубов

Описать бизнес-кейсы. Для начала, собираем информацию внутри компании у каждого отдела: изучаем отчеты, которые используют чаще всего, и метрики, которые регулярно мониторят.

Изучить, в каких базах лежат нужные данные. Собираем список источников нужных нам данных и разбираемся, как обращаться к этим данным.

Сформировать роадмап по областям данных. Допустим, у нас есть система логистики, система бухгалтерии, есть продажи, есть данные из интернет-магазина. Это все области данных, они хранятся в своих базах, из которых мы должны будем эти данные получать. Делим работу на итерации и поэтапно планируем подключение этих источников.

Спроектировать модель хранилища данных — Data Warehouse. BI-разработчик строит архитектуру, как и откуда собирать данные, как их склеивать между собой.

Создать хранилище данных и OLAP-куб. На разработку первой работающей версии обычно достаточно 2-3 недель.

Протестировать и доработать хранилище данных и OLAP-куб. Бизнес-аналитик начинает пользоваться OLAP-кубом, проверяет корректность данных и заполнение полей, консультирует разработчика по все новым бизнес-кейсам и форматам отчетов.

Презентовать проект в компании, научить сотрудников им пользоваться, распространять это решение. Чтобы проект жил и развивался, необходимо, чтобы ими пользовались как можно больше людей в компании. Нужно дорабатывать его под бизнес-кейсы каждого, кто подключается к этой системе, чтобы любой человек мог быть инициатором дополнительных доработок внутри этого куба.

Требования к команде

Бизнес-аналитик. Требования:

— знакомство с основными системами аналитики;

— знание методик исследования, анализа и моделирования бизнес-процессов;

— опыт написания технической документации;

— умение разбираться в неизвестной предметной области в короткие сроки;

— аналитическое мышление и умение систематизировать информацию;

— опыт проведения обучения пользователей;

— опыт командной разработки в ходе реализации проекта, в том числе постановка задач разработчикам.

BI-разработчик. Требования:

— знания в области методологии проектирования хранилищ;

— знание схем организации данных «Звезда» и «Снежинка»;

— опыт в проектировании и реализации процессов интеграции приложений и данных, процесс обеспечения качества данных;

— ETL-процессы: интеграция нескольких систем между собой, создание приложений, которые связывают одну систему источник с другой системой;

— умение оптимизировать запросы и планы их выполнения, знания возможных путей увеличения производительности запросов, смена структуры таблиц, изменения запросов;

— умение работать в команде с аналитиками и умение находить общий язык с неспециалистами в разработке.

Сроки и бюджет

Решение подойдет и для малых компаний с оборотом от 2-3 млн. рублей в месяц и количеством сессий до 1 млн. в месяц, и для крупных бизнесов с миллиардным оборотом и сотнями миллионов сессий.

Подготовительный период займет одну-две недели, создание OLAP-куба потребует примерно месяц работы разработчика, еще примерно месяц потребуется на доработки и адаптацию сотрудников. Первый рабочий результат обычно готов уже через месяц, весь проект занимает 2—3 месяца.

Инвестиции в проект зависят от сложности IT-инфраструктуры, количества источников данных и объема данных. Для среднего интернет-магазина инвестиции составят 300—400 тыс. рублей. Сюда входит работа бизнес-аналитика, BI-разработчика и необходимое ПО. Когда все основные задачи и отчеты будут завершены, останется только минимально поддерживать работу OLAP-куба и вносить незначительные изменения, обычно это стоит не больше 30 тыс. рублей в месяц.

Технологии

Чаще всего используют продукты Microsoft. Они изначально предназначены для удобной синхронизации между собой, это позволяет сэкономить время разработчика на интеграцию.

Data Warehouse: SQL Server.

OLAP Engine: Analysis Services (Multidimensional/Tabular).

Витрина данных: Power BI или Excel.

Если остались вопросы о создании OLAP-кубов, обращайтесь в BI Tool или лично к CEO Елизавете Гринберг в Facebook.

В Heads and Hands мы разрабатываем цифровые сервисы на основе web и mobile. Рассказываем в Facebook о разработке мобильных приложений. Запустили курс для менеджеров и собственников бизнеса.

{ "author_name": "Heads and Hands", "author_type": "self", "tags": ["\u0434\u0435\u043d\u044c\u0433\u0438","\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430","olap","mobile","mcommerce","ecommerce","data_insight","bigdata","analytics"], "comments": 11, "likes": 24, "favorites": 68, "is_advertisement": false, "subsite_label": "life", "id": 73177, "is_wide": true, "is_ugc": true, "date": "Fri, 28 Jun 2019 09:54:39 +0300", "is_special": false }
0
11 комментариев
Популярные
По порядку
Написать комментарий...

Отрицание -> Злость -> Торг -> Депрессия -> Принятие :)

А если серьезно, то проблему локализовали и устранили. Больше миллионы не терялись. ред.

2

Я правильно понял, что вы предлагаете решить проблему различающихся данных в прикладных системах, и для этого хотите поставить еще одну систему рядом, не пытаясь исправить сами прикладные системы?

0

Алексей, не совсем.
Мы не ставим еще одну систему рядом, а строим инструмент, агрегирующий данные из различных источников поверх этих систем.
Сами прикладные системы не всегда есть возможность исправить. Например, вряд ли вы будете исправлять google adwords или откажитесь от него из-за некачественно передаваемых данных.
Кроме того проблемы в прикладных системах иногда становятся явными только на этапе работы сырыми данными. Например, клиент ориентируется на данные по транзакциям из google analytics при планировании рекламного бюджета. И только на этапе объединения данных он обнаруживает, что GA не корректно собирает данные из мобильного приложения.

0

Интересный инструмент! А в плане технологий можно что-то другое использовать по вашему опыту? Например, если у компании нет контракта микрософт, но очень популярен гугл или яндекс внутри

0

Павел, для построения olap кубов можно использовать технологии oracle или других менее известных вендоров. В качестве хранилища можно использовать BigQuery или ClickHouse (если в компании популярны продукты Google или Яндекса).
Однако, основная проблема наступает на этапе состыковки данных хранилища с инструментами аналитика (а это чаще всего excel).
Преимущество OLAP кубов на Microsoft в том, что они нативно соединяются с MS Excel и Power BI.

1

Интересно, что стало с теми людьми, у которых пропало "десяток миллионов" :D

0

Когда ожидать малому бизнесу доступности таких решений в виде SaaS?

0

Мы как раз работаем над продуктом для малого бизнеса, который стоит дешевле полноценной аналитической инфраструктуры и при этом учитывает тот функционал, который чаще всего используется небольшими интернет магазинами (рекламные кабинеты, CRM системы).

0

Вы так легко советуете в одну когорту clickhouse и bigquerry. А как вы поверх CH положите OLAP кубы от microsoft? И как уложиться в разворачивание Oracle Olap в 400 тысяч рублей?:)

0

Артем, все очень просто. В OLAP мы не загружаем все данные из clickhouse, а только необходимые данные (заранее агрегированные).
В оценке имелась ввиду стоимость самих работ. Стоимость ПО и оборудования зависит от объема данных и от вендорных предпочтений клиентов.

0

Ребята молодцы, встречался с ними.
По моим оценкам описанная ситуация достаточно частое явление. Реальная боль среднего e-commerce снять статистику с каналов и оперативно внести коррекции. И для топ менеджеров, кто в интернете маркетинге не разбирается - отличный инструмент контроля.
Осталось только винтики прокрутить в самом продукте и точно полетит!

0
Читать все 11 комментариев
Нью-Йорк первым из крупных городов США принял указы об условиях труда курьеров: разрешил отказываться от заказа и другое Статьи редакции

Сервисы должны будут сообщать, куда везти заказ, до его принятия и платить не реже раза в неделю.

Как традиционному малому бизнесу превратиться в стартап: план действий

Сейчас в России предприниматели переходят из традиционного малого бизнеса в стартапы очень редко — меньше чем в 0,02% случаев. Это не больше 1 000 стартапов из около 6 млн предприятий малого бизнеса. Поговорим о том, что мешает предпринимателям и как действовать, если есть желание создать стартап.

Сергей Галицкий сообщил о болезни, которая «мешает работе» — из-за неё он не может посещать матчи команды Статьи редакции

Галицкий не раскрыл детали, но рассказал, что меняет структуру футбольного клуба — чтобы он не зависел от одного человека.

Сергей Галицкий «КомментШоу»
Готовы выбрать победителя премии «Экспортер года eBay — 2021»?
Нужны ли в России сити-фермы

И появятся ли грядки на крышах пятиэтажек.

re-thinkingthefuture.com
«Любая клавиатура может быть эргономичной — просто купите вторую» Статьи редакции

Программист Disney Джефф Пэрриш несколько лет страдал от боли в спине при наборе текста— смена клавиатуры и упражнения не помогали. Решение оказалось изящнее.

Управление репутацией на Otzovik.Как убить негативный рейтинг/удалить негативные отзывы и выдвинуть хорошие отзывы вверх
Сергей Галицкий о деньгах: «В гробу карманов нет. Два завтрака съесть не сможешь» Статьи редакции

В сентябре бизнесмен сообщил о своей болезни, которая мешает ему работать.

Во-первых, следующее поколение должно иметь мотивацию. Во-вторых, в гробу карманов нет. Ты заработал в этом обществе. И ты должен отдавать этому обществу. Два завтрака ты съесть не сможешь, как ни пытайся. Второй завтрак уже будет полдником.

Ты не можешь употребить больше двух-трёх тысяч калорий в день. Тебе не нужно столько. Не нужно двадцать машин, тридцать самолетов.

Сергей Галицкий
цитата по Sports.ru
Эксперты Httpool выступят на конференции по глобальному маркетингу Globalize! 2021

Событие соберет самых продвинутых специалистов в сфере трафика и аналитики из Google, Httpool, AppsFlyer, Aitarget, Angle Connect, TikTok, OWOX, SHAREit, Tribuna, SportQuake, LCFC, FBS.

Кейс: как мы арендовали гостиницу на юге и ничего не заработали

На днях я поговорила с предпринимателями, которые в 2018 году арендовали гостевой дом в Геленджике, и выяснила, почему нужно чётко фиксировать все принципиальные вопросы в договоре заранее и что важно просчитать на старте, чтобы бизнес был прибыльным.

Набережная Геленджика  Фото является объектом авторского права
#Мы вам перезвоним

"Мы вам перезвоним" - именно эту фразу я слышал много раз с тех пор, как обратился в компанию "Pedant.ru" для ремонта сломанного iMac. Как вы думаете, перезвонил ли мне кто-нибудь хотя бы раз? Ответ на этот вопрос загадочен, как и сам сервис, но об этом далее.

null