Сервис Руки

Да, это живой механизм. Продукт меняется — меняются и операции, в т.ч. юниты работы. И что-то, что могло быть актуальным отмирает, а что-то новое появляется.

Конечно, AI помогает составлять золотые датасеты из живых кейсов. Однако, сейчас его состав на контроле человека — с возможностью обращаться к результату работы новой модели нём, и точечно вылавливать проблемные кейсы. Это важно для нас — к золотым датасетам мы с трепетом, иначе вспоминается знаменитый в индустрии «эффект кобры» :)

Иннокентий, спасибо за комментарий!

Обработка заказа в Руках разбита на юниты работ для менеджера — проверь отчёт мастера, уточни детали у клиента, собери отзыв и т.д., а гранулярность работ — до такой степени, чтобы человек (и теперь машина) по скрипту могли выполнить эту работу с минимальными отклонениями и понятными исходами. И тогда, из этого несколько тезисов:

— как вы верно заметили, цена ошибки в различных юнитах работ разная. И общая метрика в условные 96% это, конечно, не учитывает.
— люди тоже ошибаются.

И тогда перед нами стоит задача минимизировать ошибку. Хорошо бы, в первую очередь там, где цена ошибки выше.

> Вы задаёте для таких операций список недопустимых исходов и отдельный критерий приёмки? Да. Если робот выбирает исход, связанный с повышенным риском, мы можем дополнительно проверить это задание человеком или другим роботом-контролёром. Также есть «золотые датасеты», постоянно пополняющиеся новыми кейсами, в т.ч. возникшими из инцидентов (там, где мы всё-таки промахнулись, и это привело к негативу со стороны клиента или мастера). И это позволяет сравнивать изменение в качестве на конкретном юните работы при изменении параметров работы роботов. И принимать решение вовсе о запуске робота на конкретный юнит.

> Кто принимает остаточный риск перед расширением контура автоматизации? Операции построены как иерархическая структура, где каждое подразделение отвечает за выполнение определённого KPI. В том числе и доля негатива в сервисе, бюджет СПК и прочее. Некорректно работающий робот отражается на метриках не только качественно (глазами посмотрели), но и мгновенно влияет на количественные метрики.