Тинькофф банк раскрыл секреты анализа клиентских данных: видео-интервью с руководителем управления хранилищ и отчетности

SAS, SAP или Tableau? В каких источниках хранятся данные клиентов банка? Кто и как анализирует ваши доходы, расходы и кредитную историю? Где обучают аналитиков для такой работы и какие BI-инструменты используют в банке, - рассказал Сергей Сотниченко, руководитель управления хранилищ данных и отчетности Тинькофф банка.

Сергей Сотниченко рассказывает как построен процесс анализа данных в банке

- В какой момент вы решили, что банку требуются BI-инструменты для анализа данных?

- С самого начала. В компании стояла достаточно простая аналитическая платформа SAS и какое-то время мы ей пользовались, но было понятно, что необходимо развиваться и менять ее на что-то более масштабное. Четыре года назад мы искали новую платформу. Итоговый выбор был между двумя решениями: Tableau и SAP. Мы остановились на SAP. Но с течением времени у бизнеса появилась потребность в понятной, удобной визуальной отчётности и стало ясно, что SAP нам тоже недостаточно. Бизнес-подразделения начали самостоятельно разрабатывать отчёты в HTML, на Java-скрипт, и мы решили попробовать Tableau. Это открытая платформа, где можно, во-первых, дать бизнесу возможность разработать отчёт самостоятельно, на тех данных, которые у него есть, а, во-вторых, за счёт открытых API и богатого комьюнити мы, как IT-подразделение, смогли интегрировать Tableau в нашу сложную экосистему. Поэтому сейчас мы используем Tableau.

- Сколько времени заняло внедрение и из каких этапов оно состояло?

- Tableau мы внедрили достаточно быстро: поставили сервер и запустили туда пользователей. Всё. Ну, плюс потратили какое-то время на интеграцию с нашими базами данных, но это была буквально неделя на все работы. Правда, в дальнейшем, когда мы интегрировали Tableau в нашу аналитическую платформу, была необходимость написать несколько процедур на питоне. Но в целом всё прошло достаточно гладко, и мы не столкнулись с каким-то значительными трудностями. Мы всё смогли сделать самостоятельно; для меня это - большой плюс. Наши аналитики, которые используют Tableau в работе, - это вчерашние выпускники. Обычно они не знакомы с BI-инструментами. Но они пробуют и что-то получается. У них есть желание учиться – это главное.

- Как построен процесс анализа данных в банке? Какие источники данных вы используете?

- У нас есть основной источник данных – это аналитическое хранилище, в которое загружается информация из операционных систем. В этом хранилище есть аналитическая бизнес-модель, которая в бизнес-терминах описывает происходящее у нас в компании. И на этой бизнес-модели пользователи строят свои отчёты. Ключевыми пользователями у нас являются сотрудники двух подразделений: финансы и риски. Если им чего-то не хватает, они сами всегда могут залезть в сырьё, достать нужные данные, написать какие-то запросы, и уже на результатах этих запросов построить аналитику - в Tableau, например.

- Какой объем данных вы анализируете?

- Если говорить про Tableau, то речь идёт о гигабайтах. То есть, если взять один отчёт, то он обычно не больше гигабайта. Может быть... ну, в среднем. Но, для того, чтобы этот гигабайт построить, нужно перелопатить порядка 60 терабайт данных в нашей аналитической базе.

- Как устроена работа аналитиков в компании? Это отдельная команда или они встроены в разные отделы?

- У нас есть IT-подразделение, которое строит платформу для бизнеса. В IT у нас есть свои аналитики, которые по заказу бизнес-пользователей могут сделать для них отчётность. Но основная аналитическая сила находится внутри каждого подразделения. То есть, внутри каждого бизнес-направления, бизнес-линии, бизнес-отдела есть аналитики – люди, которые анализируют данные, делают какие-то выводы. В основном это просто умные ребята, выпускники лучших вузов России, которых мы набираем, обучаем, и дальше они показывают, на наш взгляд, гораздо лучшие результаты, чем если бы мы брали людей с рынка. Молодёжь талантливая, быстро впитывает, амбициозная – их можно научить делать правильно. А люди, которые приходят с рынка – как правило, приходят со своим изученным, неправильным подходом.

- С какими проблемами сталкиваются аналитики банка, какие трудности сейчас актуальны?

- Проблемы носят технический характер. Например, у нас много данных, поэтому с ними сложно работать. Чтобы обработать 5 терабайт данных, нужно уметь писать правильные запросы, разбираться в том, что такое таблица, что такое распределение, как поджойнить по ключу распределения и так далее. Порой это вызывает сложности у аналитиков - им приходится учить технические подробности, а они не всегда к этому готовы. Кроме того, у нас бизнес достаточно динамичный: новые продукты, новые технологии появляются очень быстро и не всегда они так же быстро появляются в данных. То есть для того, чтобы анализировать только-только выпущенный продукт, приходится залезать в сырьё, там находить эти данные – это не всегда удобно.

- Вы видите положительный эффект от использования инструментов визуализации данных?

- Да, эффект есть. У нас более ста созданных отчётов, регулярно обновляющихся, и это позволяет бизнес-пользователям принимать управленческие решения, которые делают наш бизнес эффективнее.

И могу сказать про себя: я использую Tableau в работе своего управления, мы анализируем наши внутренние процессы. И с помощью Tableau мы сделали ряд полезных выводов – например, поняли, как распределены данные в наших хранилищах, что нужно, что используется, что не используется, какие расходы несёт IT-подразделение и так далее.

- Поделитесь планами по развитию аналитики в банке?

- Мы строим свою платформу на принципах Open Source. Собираем команду, которая развивает эту аналитику, дорабатывает нужные фичи, нужную функциональность для нашего бизнеса, интегрирует различные наследия нашей компании в единое целое, в единую платформу.

От автора: это часть большого интервью с Сергеем. Информацию по анализу данных у банков добывать сложно, но я старался. Надеюсь, мне удалось пролить хоть немного света на тему, для тех кому любопытны такие детали.

0
19 комментариев
Написать комментарий...
Семен Смирнов

Ожидал каких-то реальных подходов и методов, а получил...

Тинькофф банк для анализа данных использует инструменты для анализа данных. Данные собираются и анализируются. Объем данных... огромен. Эффект есть. Планы по развитию - присутствуют.

Бывают и проблемы. Проблемы носят технический характер (с)

Ответить
Развернуть ветку
Elena Balan

Вот да) ну по крайней мере узнали, что у них есть Табло и сап 😂

Ответить
Развернуть ветку
Иван Белов
Автор

Семен, как автору, мне бы хотелось вступиться за текст. Вы аналитик? Работаете с данными?

Ответить
Развернуть ветку
Валентин Потапов
люди, которые приходят с рынка – как правило, приходят со своим изученным, неправильным подходом.

1) Видимо Банк на может себе позволить кадры с рынка с правильным подходом.
2) Проще учить всех по одному своему лекалу, чем разбираться с разными чужими.
3) Много грамотных и опытных просто не нужно.

Ответить
Развернуть ветку
Shoo

Самое забавное что человек, занимающий руководящую должность, действительно не видит изъяна в подходе "мы лучше сами научим как нам надо, а то приходят тут со своими идеями".

Ответить
Развернуть ветку
Валентин Потапов

Человек, занимающий руководящую должность на производстве прежде всего отвечает за продукцию, а не дедукцию. Поэтому вполне резонно отказывется от рассмотрение несущественных вариаций. Другое дело, что не надо критиковать то, что просто нет сил осмыслить и применить.

Ответить
Развернуть ветку
Shoo

Это отличный слоган для завода, который, к сожалению (на самом деле нет) нн применим к IT.

Ответить
Развернуть ветку
Валентин Потапов

Вы смешиваете 2 разных ИТ. ИТ стартапа на младенческой стадии или стадии смены фокуса и ИТ устоявшейся компании. У них все разное.

Ответить
Развернуть ветку
Екатерина Загуляева

Это он еще много рассказал. Они все там под подпиской.

Ответить
Развернуть ветку
Elena Balan

Все таки, наверное, можно разговорить. Ну хоть что нибудь - незначительное, но по факту

Ответить
Развернуть ветку
Екатерина Загуляева

Сомневаюсь. Руководитель отдела. Он же первый и следит, чтоб не утекла информация. Эффект есть, бизнес стал эффективнее :))))

Ответить
Развернуть ветку
Иван Белов
Автор

Елена, вы не правы. Профессионалу есть что подчерпнуть из этого интервью. Эволюция развития BI-инструментария: с чего начинали, к чему пришли. Это ценная информация. А детали - в каждой компании свои. Объемы данных могут быть разными, но принцип работы с ними один и тот же. Вы, вероятно, не сталкивались с анализом данных ранее. Я прав?

Ответить
Развернуть ветку
Shoo

Java-скрипт, прости господи, и аналитики, которым сложно разобраться в таблицах, распределениях и "поджойнить".
Потрясающе.

Ответить
Развернуть ветку
Иван Белов
Автор

Да, местный жаргон требует дополнительного образования ;)

Ответить
Развернуть ветку
Shoo

Боюсь проблему с аналитиками, которые не умеют работать с данными, одним знанием жаргона не решишь.
А вот с java-скриптами да, отдавайте статьи на вычитку техническим специалистам и не позорьтесь. :)

Ответить
Развернуть ветку
Иван Белов
Автор

ОоО! Спасибо! Поправил

Ответить
Развернуть ветку
Иван Белов
Автор

Нет, не поправил. Править не дает уже :(

Ответить
Развернуть ветку
Nikita Matveev

Привет. Спасибо за статью, а полной версии в открытом доступе нет?

Ответить
Развернуть ветку
Иван Белов
Автор

Рад, что пригодилось! К сожалению, это все что было опубликовано.

Ответить
Развернуть ветку
16 комментариев
Раскрывать всегда