От матрицы ошибок к деньгам: как ML-продакт менеджеру оценить экономический эффект B2B SaaS в финтехе

Когда вы выводите ML-продукт на B2B рынок, вы почти всегда проходите одну и ту же цепочку:

• построение модели (данные: свои, заказчика, сторонние)

• оценка метрик качества на выборке заказчика

• оценка экономического эффекта

• построение модели ценообразования / стратегии монетизации

Подходов к ценообразованию может быть много, но есть базовое ограничение: на длинной дистанции решение не может стоить дороже, чем эффект, который оно создаёт для бизнеса.

Одна из ключевых задач ML Product Manager - уметь переводить ML метрики моделей в измеримый бизнес эффект.

Это не всегда тривиальная задача. Универсального фреймворка не существует. Однако есть широкий класс задач, в которых связывать модельные метрики с экономическим эффектом удобно через матрицу ошибок (confusion matrix).

Речь идет о решениях на базе классификационных моделей, встраиваемых в decision pipelines - пайплайны автоматизированного принятия решений. Это кредитные конвейеры, BRMS, проверки KYC, KYB, AML и др.

Ниже будет кейс из практики

В компании OneFactor я занимался выводом на рынок сервиса противодействия социальной инженерии.

Это SaaS для оценки вероятности того, что заявка на кредит подана под воздействием мошенников. Пользователи сервиса - банки.

После реализации прототипа мы посчитали метрики Precision / Recall на выборке банка.

Дальше встал ключевой вопрос: достаточно ли этого качества, чтобы модель приносила пользу бизнесу?

Я подошел к оценке экономического эффекта следующим образом:

1. Построил матрицу ошибок

• TP - корректно найденные кейсы

• FP - ложные срабатывания (упущенная прибыль / доп. проверки)

• FN - пропущенные кейсы (прямые потери банка)

2. Взял классическую формулу для оценки чистого дохода от кредитного портфеля

NPV = Margin × Sum × (1 − DR) × n − LGD × Sum × DR × n

3. Адаптировал ее под свой кейс

🔴 посчитал потери банка без модели - все факты соц инженерии: TP + FN

🟢 посчитал потери банка с моделью

-> из-за FN (прямые потери)

-> из-за FP (упущенная прибыль)

4. Получил итоговую формулу (в общем виде)

Эффект = 🔴 потери без модели − 🟢 потери с моделью

Результат

Полученная оценка численного эффекта оказалась впечатляющей: согласно модели, наше решение позволяло снижать потери банка от социальной инженерии на десятки процентов.

Далее, взяв некоторую долю от рассчитанного эффекта, я подготовил тарификатор сервиса, который команда сейлзов использовала для выставления КП и заключения договоров.

Подтверждённый (в экселе) экономический эффект позволил нам:

• увереннее и интенсивнее вести пресейл

• получить первые контракты (и провалидировать жизнеспособность модели ценообразования)

Выводы

• ML-продакт должен уметь переводить ML-метрики в деньги

• матрица ошибок - мощный инструмент для решения данной задачи

• понимание экономического эффекта в B2B помогает выбирать оптимальную стратегию монетизации

Больше деталей о продуктовом менеджменте решений на основе AI/ML в моем телеграм-канале.