Мне кажется, это очень индивидуально. Боты хороши для типовых задач и очень плохи для "творческих" (и просто неожиданных). Если кто-то хочет спросить банальный вопрос (а до скольки работает офис на метро такой-то) - робот для него замечательно ответит.
Но если кто-то попал в нештатную ситуацию, или вопрос похож на шаблон другого вопроса, но не совпадает по сути, робот вряд ли разрулит по базе типовых ответов.
Поэтому для одной группы клиентов с "тупыми" вопросами робот очень хорош, а для другой - очень плох.
Еще интересно, как измеряется успешность. Если по мнению робота (его спросили "когда вы сдохнете", а он ответил "филиал работает до 18:00") - то это одна, а если по более простой старой метрике типа палец-вверх / палец-вниз - то оценка полезности (через мнение пользователя) точнее.
Враньё.
Ни разу робот не смог адекватно обработать предоставленную ему информацию и дать хотя бы близкий к теме заданного вопроса ответ.
Какие 65 %?
Так это с другой стороны смотрели. Бот отчитался, что решил ваш вопрос, а ваше мнение никого не интересует. Все ради эффективности.
Мне кажется, это очень индивидуально. Боты хороши для типовых задач и очень плохи для "творческих" (и просто неожиданных). Если кто-то хочет спросить банальный вопрос (а до скольки работает офис на метро такой-то) - робот для него замечательно ответит.
Но если кто-то попал в нештатную ситуацию, или вопрос похож на шаблон другого вопроса, но не совпадает по сути, робот вряд ли разрулит по базе типовых ответов.
Поэтому для одной группы клиентов с "тупыми" вопросами робот очень хорош, а для другой - очень плох.
Еще интересно, как измеряется успешность. Если по мнению робота (его спросили "когда вы сдохнете", а он ответил "филиал работает до 18:00") - то это одна, а если по более простой старой метрике типа палец-вверх / палец-вниз - то оценка полезности (через мнение пользователя) точнее.