Что стоит за рейтингами Markswebb: интернет-банки для бизнеса
Системы оценки цифрового клиентского опыта Markswebb существуют с 2010 года. Один из результатов наших исследований, который суммирует и наглядно отражает конкурентную обстановку, — это рейтинг. По умолчанию к рейтингам в России (да и в мире) отношение скептическое, поскольку всегда есть сомнения в достаточности оснований, в беспристрастности, в объективности. Не будем никого переубеждать — просто раскроем карты и покажем внутреннюю кухню исследований вместо традиционного рассказа о метаморфозах рынка, достижениях и неудачах отдельных участников. Перед вами настоящий лонгрид о том, что стоит за рейтингами Markswebb, на примере одного исследования — интернет-банков для бизнеса. В конце для самых заинтересованных — небольшой опрос о том, какую систему оценки раскрыть следующей.
Подпишитесь на наш Telegram-канал, чтобы не пропускать новости исследования. Связаться с нами, чтобы обсудить развитие вашего проекта, можно в чате Telegram.
Суть исследования
Система оценки Markswebb и исследование цифрового клиентского опыта в интернет-банках называется Business Internet Banking Rank. Это один из «флагманов» агентства: мы проводим его каждый год, начиная с 2013. В прошлом году была юбилейная, десятая, волна, а презентация результатов одиннадцатой запланирована в декабре 2024.
Система оценки Business Internet Banking Rank — изобретение Markswebb на стыке наиболее продвинутых методов гуманитарных и технических наук: например, таких, как исследование пользователей, поведенческая экономика, HCI (Human-Computer Interaction), когнитивная психология, теория интерфейсов и других.
В основе системы оценки лежит набор принципов:
- Чем больше задач клиент может решить в интернет банке и чем выше скорость их выполнения — тем сервис эффективнее.
- Чем критичнее для клиента наличие определенной функции в интернет банке и чем шире ее охват — тем весомее эта возможность.
Уникальность исследовательского подхода Markswebb в том, что мы научились разбирать буквально на «атомы» — отдельные измеримые критерии — такое многоуровневое понятие, как качество цифрового опыта. Разные каналы взаимодействия, десятки пользовательских сценариев и их контекст, индивидуальные предпочтения людей, новые технологии и эксперименты рынка — всё это мы пропускаем через сотни критериев, которые описывают возможности клиента в цифровом сервисе, и то, как эти возможности реализованы.
С точки зрения форм-фактора это чек-лист, который мы используем для экспертного обследования. Исследователи моделируют клиентские сценарии и экспертно оценивают, выполняется критерий или нет. Мнение пользователей мы узнаём с помощью модерируемых UX-тестов с целевой аудиторией. Глубинные интервью позволяют нам узнать в деталях скрытые потребности пользователей при взаимодействии с цифровыми сервисами. Так мы понимаем контекст использования продукта, внутренние ожидания и причины выбора тех или иных решений. На этом основании мы формируем блоки пользовательских задач, актуальные здесь и сейчас, в живых условиях рынка.
Каждый год методика обновляется в соответствии с трендами — чтобы результаты исследования не просто отражали состояние рынка, а помогали «заглянуть в будущее» и создать сервисы, которые будут актуальны в ближайшие год-два.
А дальше — математика. Каждый критерий имеет свой точный вес, каждый блок — тоже. Мы умножаем количество выполненных критериев в блоке на их веса и получаем оценку конкретного сервиса от 0 до 100 баллов: она отражает степень его соответствия «максимальной комплектации» интернет-банка для бизнеса в этом году. Это представление Markswebb об эталонном цифровом сервисе, который максимально полно и удобно решает задачи своей целевой аудитории.
Рейтинг — это только титульный слайд. За ним находится самое главное: понятная формула роста цифрового опыта и бизнес-метрик цифрового сервиса через ответы на такие вопросы, как:
- В чем конкретно интернет-банк для бизнеса отстает от конкурентов и / или цифровых лидеров? Как это отставание сократить?
- Где передовая цифрового опыта в банковских бизнес-сервисах?
- Что можно улучшить в интернет-банке уже сейчас, чтобы завоевать больше клиентов и повысить их лояльность?
- Как убедиться, что банк предлагает клиентам то, что им нужно для решения бизнес-задач?
- В каких продуктовых нишах есть недостаток цифровизации, на чем специализируются разные сервисы?
- Как меняются потребности предпринимателей из-за макроэкономических потрясений и новых приоритетов в локальной экономике?
- На какие лучшие практики цифрового обслуживания стоит ориентироваться?
Итог исследования — объемный, на сотни страниц, отчет. Внутри — детальный гэп-анализ в виде сравнительных таблиц, карт реализаций и аналитических обзоров, а также подборка лучших практик реализации конкретных задач и сценариев.
Почитать публичные результаты волны 2023 года
Скачать демо полного отчета
Периметр — одно из условий репрезентативного результата
Для каждого исследования Markswebb мы сами выбираем базовый список участников: это те, кто может быть провайдером лучших решений и те, кто формирует массовый пользовательский опыт на рынке. В случае интернет-банков для бизнеса это самые популярные по тематическим запросам в Яндексе (что беспристрастно отражает высокий интерес со стороны бизнеса), и цифровые лидеры рейтинга предыдущей волны. Перечень критериев определяется индивидуально для каждого исследования и может меняться вслед за развитием рынка.
Наравне с банками, которые мы выбрали сами, в исследованиях может принять участие любая российская компания, которая развивает интернет-банк для малого и микробизнеса. Это дает возможность выявить отставания и преимущества по сравнению с крупнейшими и наиболее продвинутыми игроками, оценить свою позицию на рынке и использовать эти данные для принятия стратегических решений. Хотя это платная опция, у компаний, решивших присоединиться, нет дополнительных преимуществ перед основными участниками, за исключением возможности отказаться от публикации рейтингов.
Все участники оцениваются по одинаковым критериям.
Структура системы оценки интернет-банков формируется от набора имеющихся банковских продуктов: исследование охватывает все возможности интернет-банков, начиная с неавторизованной зоны и включает все интегрированные дополнительные сервисы, которые не требуют создания отдельного логина и пароля.
Зона анализа имеет четкие границы. Так, в контур Business Internet Banking Rank не входят смежные аспекты банковских сервисов, такие как регистрация бизнеса и открытие счета, мобильные приложения банков, а также условия обслуживания и тарифы. Эти практики и цифровые сервисы рассматриваются детально в других исследовательских проектах Markswebb.
Чтобы найденные инсайты отвечали потребностям банков и соответствовали трендам рынка, для каждой новой волны система оценки обновляется в соответствии с эволюцией сервисов и трансформацией нашего взгляда на рынок по итогам проектов, прошедших в рамках года или двух — в зависимости от периодичности среза.
Например, в основу системы оценки 2024 легли 100+ глубинных интервью с предпринимателями, ежедневное общение с продуктовыми командами крупнейших банков России, 10 дискавери-исследований проблем и потребностей бизнес-клиентов.
Подобная практика позволяет нам держать исследовательскую оптику всегда наготове. Исследователи видят изучаемые сервисы во всей системной сложности: какие возможности устаревают и становятся невостребованными, как появляются новые тренды.
В каждой новой волне исследования мы учитываем новые ситуации, в которых может оказаться предприниматель и его бизнес. ****Так, например, в последней волне был добавлен новый блок «Сервисы для селлеров» и пользовательская задача «Принять участие в тендере/госзакупках». А критерий «Работать с блоком в рамках интерфейса приложения мобильного банка» был удален из всех блоков, так как работа в рамках интерфейса — базовое свойство, и реализации вне контура мобильного банка не засчитываются. Также удалены неактуальные больше критерии, связанные со SWIFT и отслеживанием событий ВЭД.
В 2022 году методика бизнес-исследований Markswebb обновилась глобально под влиянием санкций и структурных изменений в экономике.
Как мы проводим исследование
Исследование интернет-банков для бизнеса охватывает как количественные, так и качественные данные. Кросс-методология Markswebb сочетает в себе эффективные приемы User Story и Jobs to Be Done (JTBD), что позволяет глубже понять, как пользователи взаимодействуют с цифровыми сервисами и какие задачи они стремятся решить с их помощью.
User Story — это метод, который описывает функциональные требования с точки зрения пользователя. Каждая User Story фокусируется на конкретном сценарии использования продукта, отражая его потребности и ожидаемые результаты. Мы используем user story для создания сценариев взаимодействия, которые показывают, как различные типы пользователей — от новичков до опытных предпринимателей — взаимодействуют с цифровыми сервисами, какими функциями они пользуются чаще всего и что вызывает у них трудности.
Jobs to Be Done (JTBD) — это фреймворк, который помогает определить, для выполнения какой «работы» пользователи выбирают тот или иной продукт или сервис. В отличие от User Story, где акцент делается на действиях пользователей, JTBD фокусируется на более широких мотивах и контексте использования. Мы проводим интервью по JTBD, чтобы выявить внутренние интенции и потребности пользователей, понять, какие конкретные задачи они хотят решить с помощью продукта, и что их мотивирует к выбору того или иного решения. Например, мы можем узнать, что предприниматели используют интернет-банкинг не только для проведения транзакций, но и для минимизации административных затрат или для быстрого принятия управленческих решений.
Как мы смотрим на рынок:
- Экспертно на сервисы: тщательно исследуем и сравниваем различные цифровые сервисы на основе заранее разработанных критериев и чек-листов, чтобы понять, как каждый из них отвечает на текущие вызовы и потребности бизнеса.
- Качественно на пользователей: проводим глубинные интервью с пользователями, чтобы понять их реальный опыт и поведение, выявить болевые точки и скрытые потребности.
- Получаем мнения экспертов рынка: привлекаем отраслевых экспертов для оценки текущих тенденций и перспектив развития цифровых сервисов.
Весь рабочий процесс строится тщательно, вручную. Объектом нашего исследования является банк, а предметом - человеческий опыт пользователя. Потому исследователи Markswebb буквально посвящают несколько месяцев своей жизни аналитике, не спрямляя путь за счет быстрых решений пакетной обработки данных.
Исследование проводится в несколько этапов:
- Получение доступов: открываем счета в банках-участниках (при необходимости), формируем списки исследовательских вопросов, на которые планируется найти ответы в ходе исследования. Нам важно посмотреть и «пощупать» каждый сервис именно своими глазами, а не по скриншотам или скринкастам.
- Экспертное обследование: моделируем пользовательские сценарии и заполняем чек-лист из 1000+ критериев. То есть, исследователи самостоятельно пытаются выполнить разные задачи в цифровом сервисе и фиксируют их характеристики.
- Интервью с экспертами: общаемся с представителями банков для выявления рыночных тенденций, индивидуальных планов развития и актуальных вопросов. Эти знания учитываем при формировании чек-листа.
- Интервью с предпринимателями: проводим интервью с представителями целевой аудитории для изучения их потребностей, проблем и опыта использования интернет-банков. Результаты влияют на веса критериев и рекомендации для банков.
- Подсчет рейтингов: на основе заполненных чек-листов по каждому банку и весов критериев рассчитываем оценки интернет-банков для бизнеса по разным продуктам и по качеству клиентского опыта в целом.
- Анализ данных: систематизируем результаты гэп-анализа, собираем базу лучших практик, выбираем несколько инсайтов для публичной презентации.
Формирование чек-листа
Чек-лист - это таблица в Excel длиной примерно на 1000 строк, по количеству критериев, отражающих требования пользователей к «эталонному» интернет-банку для бизнеса. Чек лист формируется заранее, и к началу исследования он полностью готов. Критерии в нем сгруппированы по востребованным пользовательским задачам, таким как вход в систему, настройка программного обеспечения, работа с документами и платежами, и подобным.
Каждая пользовательская задача описывается набором критериев, которые, в зависимости от типа исследуемых продуктов, могут отражать принципиальную возможность реализации задачи, скорость решении задачи, навигационную доступность информации/сервиса, информационную поддержку при решении задачи, наличие англоязычной версии интерфейса/информации и другие факторы.
Критерии сгруппированы для удобства. Отдельные критерии — в подзадачи; подзадачи — в задачи пользователя; задачи — в блоки задач.
Взгляните на пример:
- Интернет-банк как платформа — блок задач;
- Войти в банк и настроить систему — задача пользователя;
- Настроить ПО — подзадача;
- Интернет-банк работает на Windows и MacOS последних версии — критерий.
Например, всего в исследовании Business Internet Banking Rank 2023 было 140 сценариев и 780+ критериев, отражающих полноту функциональных возможностей и уровень удобства сервисов.
Экспертное обследование
В ходе заполнения чек-листа мы, фактически, сравниваем продукт конкретного банка с эталоном. Сопоставление представляет собой проверку реализации критериев и заполнение чек-листа по каждому из исследуемых продуктов.
Критерии заполняются по следующим категориям:
- Да: функционал полностью соответствует критерию.
- Частично: функционал реализован, но не полностью или с незначительными ошибками.
- Критерий не выполняется: функционал реализован, но с критическими недостатками, препятствующими его использованию.
- Не реализовано: отсутствие функционала.
- Нет возможности проверить: невозможность проверки на предоставленных аккаунтах или отказ банка продемонстрировать функционал.
Кроме того, при заполнении исследователи добавляют комментарии и ссылку на скриншот с данным функционалом.
После того, как чек-лист заполнен мы приступаем к расчету рейтингов.
Расчет рейтингов
Рейтинг — это наглядное отражение результата сложного сравнения. Он помогает «компактно» продемонстрировать, как изменился рынок с прошлой волны исследования, кто из банков располагает лучшими сервисами на данный момент. В рамках исследования мы формируем около десятка рейтингов:
- Рейтинги по отдельным продуктам показывают результат конкретных команд внутри банка: например, кому лучше других удалось оцифровать зарплатный проект или корпоративные карты.
- Рейтинг клиентского опыта в целом показывает уровень цифровизации всех задач — насколько полно и удобно предприниматель может онлайн управлять финансами своего бизнеса.
Так мы суммируем конкурентную диспозицию и предлагаем заглянуть в детали по сервису в целом и по любому блоку сценариев, которые связаны с конкретным продуктом. В зависимости от конкурентной позиции и задач команды банка такой помогает выстроить путь комплексного решения, так как за каждой цифрой стоит синергия множества показателей, факторов и вычисленных связей. Пройти этот путь команда может самостоятельно или при поддержке исследователей Markswebb в рамках консалтингового проекта.
Приведем пример. Мы рассматриваем блок критериев «Получить консультацию», который включает 15 показателей для оценки чата банка. Для этого блока важно учесть как наличие возможности получения консультации, так и скорость ответа.
Расчет будет таким:
- Первый критерий — «Совокупная оценка скорости» — рассчитывается автоматически на основе медианных значений по 7 критериям, связанным со скоростью ответа.
- Остальные 14 критериев делятся на две группы:
Наличие возможности получить консультацию:
1. Консультация по тарифам банка.
2. Консультация по интерфейсу.
3. Возможность оформить корпоративную карту.
4. Решение вопросов по ВЭД.
5. Запрос выписки за период.
6. Консультация по эквайрингу.
7. Консультация по кредитным продуктам.
Скорость ответа:
1. По тарифам банка.
2. По интерфейсу.
3. По корпоративным картам.
4. По ВЭД.
5. По операциям.
6. По эквайрингу.
7. По кредитным продуктам.
Пример оценки:
- Скорость ответа измеряется с момента отправки вопроса до получения содержательного ответа. Если требуется уточнение от клиента, конечной точкой будет последнее сообщение с полной информацией.
- Оценка скорости — 0, если оператор дал нерелевантный или неверный ответ.
- По вопросам ВЭД и эквайрингу финальная точка — сообщение о переводе на профильного специалиста. Такой подход позволяет точно оценить качество клиентского обслуживания и выявить слабые места, влияющие на общую оценку банка.
Как рассчитывается итоговая оценка?
Каждый критерий в чек-листе имеет свой вес, который определяется на основе четырех параметров: критичность, охват, частота и уникальность. Эти параметры оцениваются по 10-балльной шкале:
- Критичность: насколько функционал важен для выполнения задачи пользователя.
- Охват: доля предпринимателей, сталкивающихся с проблемой.
- Уникальность: насколько функционал распространен на рынке.
Вес блока = сумма всех критериев в нем.
Итоговая оценка = количество выполненных критериев в блоке, умноженные на их веса.
Анализ данных
По итогу исследования мы получаем огромный массив цифр и таблиц, которые исследователи Markswebb интерпретируют и превращают в аналитические выводы, на основе которых можно принимать решения. Мы выявляем важные изменения рынка, взаимосвязи и тенденции, а также лучшие практики, переиспользование которых поможет быстро поднять качество пользовательского опыта, избежать распространённых ошибок и сократить time to market. В частности:
- Формулируем конкретный ответ на вопрос, что произошло с предметом исследования за время, которое прошло с последней волны.
- Подтверждаем все или абсолютное большинство выводов данными.
- Аргументируем каждую практику, которую считаем лучшей: чем полезна бизнесу и что он теряет, не решая конкретную задачу пользователя на должном уровне, какие проблемы пользователи испытывают при взаимодействии с другими реализациями, за счет чего предложенное решение помогает решить задачу клиента более полно / быстро / удобно / приятно и так далее.
- Досконально разбираем конкурентную диспозицию: какая атмосфера на рынке, что отличает лидеров от аутсайдеров, что объединяет и отличает банки внутри разных кластеров, как реализуются разные задачи внутри конкретных сервисов, чего не хватает лидерам до «эталона».
Итоги и обещанный опрос
В конечном итоге, исследование Business Internet Banking Rank — это инструмент для понимания глубинных процессов, формирующих цифровой клиентский опыт в интернет-банках для бизнеса. Мы раскрываем сложные взаимосвязи между потребностями пользователей, возможностями сервисов и новыми рыночными трендами, открывая для продуктовых команд возможность осознанно управлять изменениями, создавая продукты, которые отвечают на вызовы современных предпринимателей и несут пользу бизнесу банка.
Мы будем рады вопросам и обратной связи в комментариях, а если вам был полезен этот обзор, помогите нам выбрать тему для следующего.