Павел Демьянов

Правило слушать отказы дольше сорока секунд — самое ценное в тексте. Я бы добавил к нему еще один срез: в какой момент разговора человек начинает перебивать. Место, где перебивают чаще всего, обычно и есть место, где скрипт говорит не о том, и видно это раньше, чем по конверсии.

С простотой скрипта соглашусь, но у нее есть цена: оператор без запаса формулировок разваливается ровно там, где клиент задал встречный вопрос.

Про агента в чате на сайте добавлю деталь, которая обычно вызывает спор. Когда прямо в первой реплике писали, что человек общается с роботом, конверсия в следующий шаг не падала. Падала она в другом месте — когда агент продолжал вести сценарий там, где диалог уже надо было отдать человеку.

Поэтому в список компетенций я бы добавил еще одну: заранее описать границу, за которой ИИ перестает разговаривать сам. Обычно ее рисуют уже после запуска, по жалобам.

Про кнопку «позвать оператора» с диагнозом соглашусь, с лечением не очень. На проектах, где ее выносили на первый экран, часть клиентов начинала жать ее до того, как сформулирует вопрос: после автоматизации первой линии люди просто сразу говорят «оператор». Нагрузка на людей от этого не падает.

Помогло другое: смотреть, на каком шаге сценария человек выходит из бота. Место, где чаще всего просят оператора, обычно и есть место, где бот отвечает не на тот вопрос.

В клиентском сервисе то же самое видно раньше и жестче, чем во внутренних документах. Длинный гладкий ответ ассистента человек не дочитывает и не дослушивает, он перебивает.

Я смотрю на распределение перебиваний по шагам диалога, и место, где перебивают чаще всего, почти всегда оказывается местом, где ассистент говорит складно и не по делу. Вывод про лаконичность тот же, просто получен на звонках, а не на переписке. Разница в том, что сотрудник пять страниц вежливо дочитает, а клиент нет.

Точность расчета этот подход закрывает, согласен. Но у меня на внедрениях узким местом почти всегда была не арифметика, а то, какой вопрос вообще задали таблице.

Пример из своей области: доля перебиваний по шагам диалога считается тривиально, данные лежат в логах у всех. Только смотреть на нее как на индикатор плохого сценария почти никто не догадывается, крутят порог чувствительности и списывают в технику. Агент такой вопрос не придумает, он ответит на заданный. Поэтому «без дата-сайентистов под каждую выгрузку» — да, а вот без человека, который знает, что спрашивать, — нет.

Чек-лист рабочий, отдельно бы усилил второй пункт. Умение позвать человека обычно проверяют как функцию — есть кнопка или нет, — а важнее момент, в который бот это делает: до того, как клиент начал злиться, или после.

Из практики: честное «вы говорите с роботом» в начале разговора я долго считал риском для конверсии. Оказалось, конверсию это не уронило. Зато ушла часть раздражения, которое возникает, когда человек догадывается сам где-то на третьей реплике. Список вопросов, на которые бот не ответил, по той же причине полезнее общей метрики удовлетворенности.

Про «исчезает из статистики» — в поддержке ровно то же. Отчет считает принятые обращения и время разговора, а человек, который бросил трубку на третьем уточнении, не попадает никуда. Метрика измеряет не сервис, а удобство учета.

С диагнозом согласен, с лечением не очень: доля повторных визитов приходит слишком поздно, чтобы успеть что-то починить. В моих проектах лучше работала честность на входе — сразу говорить, что человек разговаривает с роботом. Конверсию это не уронило, а претензий про обман не осталось.

То, что «Алису» можно перебивать, подано как деталь синтеза речи, а на внедрениях это оказывается диагностикой сценария. Я в первую очередь смотрю, в каком месте диалога перебивают чаще всего: там ассистент говорит не то, что человеку нужно. Видно раньше, чем отказы и переводы на оператора.

С роутингом согласен, а вот что голос станет основным интерфейсом — не уверен. Голос выигрывает там, где заняты руки, и проигрывает везде, где ответ надо перечитать.

С дистанцией между «модель умеет» и «у нас работает» согласен, только в клиентском сервисе она чаще не про модель. Смена движка влияет на разговор заметно меньше, чем один переписанный шаг сценария.

И есть эффект, к которому обычно не готовятся: после автоматизации первой линии люди перестают слушать приветствие и сразу говорят «оператор». Не потому, что робот плохой, а потому что научились коротким путем. Это ломает расчет по автоматизации быстрее, чем любое отставание от релизов.

Про качество согласен не полностью. Средняя точность по всему массиву мало что говорит — важен хвост, те строки, где модель уверенно записала не то. Их не видно в отчете, они всплывают в вопросах покупателей уже после публикации, и разбирать их приходится вручную.

Самое рабочее решение здесь — запрет придумывать категории вне фиксированного списка. В клиентском сервисе тот же прием держит маршрутизацию: как только ассистенту разрешают самому определять тему обращения, справочник перестает быть управляемым.