Личный опыт Иван Белов
1 191

Тинькофф банк раскрыл секреты анализа клиентских данных: видео-интервью с руководителем управления хранилищ и отчетности

SAS, SAP или Tableau? В каких источниках хранятся данные клиентов банка? Кто и как анализирует ваши доходы, расходы и кредитную историю? Где обучают аналитиков для такой работы и какие BI-инструменты используют в банке, - рассказал Сергей Сотниченко, руководитель управления хранилищ данных и отчетности Тинькофф банка.

В закладки
Сергей Сотниченко рассказывает как построен процесс анализа данных в банке

- В какой момент вы решили, что банку требуются BI-инструменты для анализа данных?

- С самого начала. В компании стояла достаточно простая аналитическая платформа SAS и какое-то время мы ей пользовались, но было понятно, что необходимо развиваться и менять ее на что-то более масштабное. Четыре года назад мы искали новую платформу. Итоговый выбор был между двумя решениями: Tableau и SAP. Мы остановились на SAP. Но с течением времени у бизнеса появилась потребность в понятной, удобной визуальной отчётности и стало ясно, что SAP нам тоже недостаточно. Бизнес-подразделения начали самостоятельно разрабатывать отчёты в HTML, на Java-скрипт, и мы решили попробовать Tableau. Это открытая платформа, где можно, во-первых, дать бизнесу возможность разработать отчёт самостоятельно, на тех данных, которые у него есть, а, во-вторых, за счёт открытых API и богатого комьюнити мы, как IT-подразделение, смогли интегрировать Tableau в нашу сложную экосистему. Поэтому сейчас мы используем Tableau.

- Сколько времени заняло внедрение и из каких этапов оно состояло?

- Tableau мы внедрили достаточно быстро: поставили сервер и запустили туда пользователей. Всё. Ну, плюс потратили какое-то время на интеграцию с нашими базами данных, но это была буквально неделя на все работы. Правда, в дальнейшем, когда мы интегрировали Tableau в нашу аналитическую платформу, была необходимость написать несколько процедур на питоне. Но в целом всё прошло достаточно гладко, и мы не столкнулись с каким-то значительными трудностями. Мы всё смогли сделать самостоятельно; для меня это - большой плюс. Наши аналитики, которые используют Tableau в работе, - это вчерашние выпускники. Обычно они не знакомы с BI-инструментами. Но они пробуют и что-то получается. У них есть желание учиться – это главное.

- Как построен процесс анализа данных в банке? Какие источники данных вы используете?

- У нас есть основной источник данных – это аналитическое хранилище, в которое загружается информация из операционных систем. В этом хранилище есть аналитическая бизнес-модель, которая в бизнес-терминах описывает происходящее у нас в компании. И на этой бизнес-модели пользователи строят свои отчёты. Ключевыми пользователями у нас являются сотрудники двух подразделений: финансы и риски. Если им чего-то не хватает, они сами всегда могут залезть в сырьё, достать нужные данные, написать какие-то запросы, и уже на результатах этих запросов построить аналитику - в Tableau, например.

- Какой объем данных вы анализируете?

- Если говорить про Tableau, то речь идёт о гигабайтах. То есть, если взять один отчёт, то он обычно не больше гигабайта. Может быть... ну, в среднем. Но, для того, чтобы этот гигабайт построить, нужно перелопатить порядка 60 терабайт данных в нашей аналитической базе.

- Как устроена работа аналитиков в компании? Это отдельная команда или они встроены в разные отделы?

- У нас есть IT-подразделение, которое строит платформу для бизнеса. В IT у нас есть свои аналитики, которые по заказу бизнес-пользователей могут сделать для них отчётность. Но основная аналитическая сила находится внутри каждого подразделения. То есть, внутри каждого бизнес-направления, бизнес-линии, бизнес-отдела есть аналитики – люди, которые анализируют данные, делают какие-то выводы. В основном это просто умные ребята, выпускники лучших вузов России, которых мы набираем, обучаем, и дальше они показывают, на наш взгляд, гораздо лучшие результаты, чем если бы мы брали людей с рынка. Молодёжь талантливая, быстро впитывает, амбициозная – их можно научить делать правильно. А люди, которые приходят с рынка – как правило, приходят со своим изученным, неправильным подходом.

- С какими проблемами сталкиваются аналитики банка, какие трудности сейчас актуальны?

- Проблемы носят технический характер. Например, у нас много данных, поэтому с ними сложно работать. Чтобы обработать 5 терабайт данных, нужно уметь писать правильные запросы, разбираться в том, что такое таблица, что такое распределение, как поджойнить по ключу распределения и так далее. Порой это вызывает сложности у аналитиков - им приходится учить технические подробности, а они не всегда к этому готовы. Кроме того, у нас бизнес достаточно динамичный: новые продукты, новые технологии появляются очень быстро и не всегда они так же быстро появляются в данных. То есть для того, чтобы анализировать только-только выпущенный продукт, приходится залезать в сырьё, там находить эти данные – это не всегда удобно.

- Вы видите положительный эффект от использования инструментов визуализации данных?

- Да, эффект есть. У нас более ста созданных отчётов, регулярно обновляющихся, и это позволяет бизнес-пользователям принимать управленческие решения, которые делают наш бизнес эффективнее.

И могу сказать про себя: я использую Tableau в работе своего управления, мы анализируем наши внутренние процессы. И с помощью Tableau мы сделали ряд полезных выводов – например, поняли, как распределены данные в наших хранилищах, что нужно, что используется, что не используется, какие расходы несёт IT-подразделение и так далее.

- Поделитесь планами по развитию аналитики в банке?

- Мы строим свою платформу на принципах Open Source. Собираем команду, которая развивает эту аналитику, дорабатывает нужные фичи, нужную функциональность для нашего бизнеса, интегрирует различные наследия нашей компании в единое целое, в единую платформу.

От автора: это часть большого интервью с Сергеем. Информацию по анализу данных у банков добывать сложно, но я старался. Надеюсь, мне удалось пролить хоть немного света на тему, для тех кому любопытны такие детали.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Иван Белов", "author_type": "self", "tags": [], "comments": 17, "likes": 8, "favorites": 37, "is_advertisement": false, "subsite_label": "life", "id": 57990, "is_wide": false, "is_ugc": true, "date": "Fri, 08 Feb 2019 16:38:50 +0300" }
{ "id": 57990, "author_id": 252991, "diff_limit": 1000, "urls": {"diff":"\/comments\/57990\/get","add":"\/comments\/57990\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/57990"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199123, "possessions": [] }

17 комментариев 17 комм.

Популярные

По порядку

Написать комментарий...
4

Ожидал каких-то реальных подходов и методов, а получил...

Тинькофф банк для анализа данных использует инструменты для анализа данных. Данные собираются и анализируются. Объем данных... огромен. Эффект есть. Планы по развитию - присутствуют.

Бывают и проблемы. Проблемы носят технический характер (с)

Ответить
0

Вот да) ну по крайней мере узнали, что у них есть Табло и сап 😂

Ответить
0

Семен, как автору, мне бы хотелось вступиться за текст. Вы аналитик? Работаете с данными?

Ответить
1

люди, которые приходят с рынка – как правило, приходят со своим изученным, неправильным подходом.

1) Видимо Банк на может себе позволить кадры с рынка с правильным подходом.
2) Проще учить всех по одному своему лекалу, чем разбираться с разными чужими.
3) Много грамотных и опытных просто не нужно.

Ответить
0

Самое забавное что человек, занимающий руководящую должность, действительно не видит изъяна в подходе "мы лучше сами научим как нам надо, а то приходят тут со своими идеями".

Ответить
0

Человек, занимающий руководящую должность на производстве прежде всего отвечает за продукцию, а не дедукцию. Поэтому вполне резонно отказывется от рассмотрение несущественных вариаций. Другое дело, что не надо критиковать то, что просто нет сил осмыслить и применить.

Ответить
0

Это отличный слоган для завода, который, к сожалению (на самом деле нет) нн применим к IT.

Ответить
0

Вы смешиваете 2 разных ИТ. ИТ стартапа на младенческой стадии или стадии смены фокуса и ИТ устоявшейся компании. У них все разное.

Ответить
0

Это он еще много рассказал. Они все там под подпиской.

Ответить
0

Все таки, наверное, можно разговорить. Ну хоть что нибудь - незначительное, но по факту

Ответить
0

Сомневаюсь. Руководитель отдела. Он же первый и следит, чтоб не утекла информация. Эффект есть, бизнес стал эффективнее :))))

Ответить
0

Елена, вы не правы. Профессионалу есть что подчерпнуть из этого интервью. Эволюция развития BI-инструментария: с чего начинали, к чему пришли. Это ценная информация. А детали - в каждой компании свои. Объемы данных могут быть разными, но принцип работы с ними один и тот же. Вы, вероятно, не сталкивались с анализом данных ранее. Я прав?

Ответить
0

Java-скрипт, прости господи, и аналитики, которым сложно разобраться в таблицах, распределениях и "поджойнить".
Потрясающе.

Ответить
0

Да, местный жаргон требует дополнительного образования ;)

Ответить
0

Боюсь проблему с аналитиками, которые не умеют работать с данными, одним знанием жаргона не решишь.
А вот с java-скриптами да, отдавайте статьи на вычитку техническим специалистам и не позорьтесь. :)

Ответить
0

ОоО! Спасибо! Поправил

Ответить
0

Нет, не поправил. Править не дает уже :(

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Команда калифорнийского проекта
оказалась нейронной сетью
Подписаться на push-уведомления
{ "page_type": "default" }