Обучение Wikibot: Что делать, если бот отвечает неправильно?
Как создать и обучить первого бота мы писали тут.
Подробно об обучении бота с помощью базы знаний и Вопрос-Ответ мы описали тут:
Это вводная статья по настройке Wikibot в случаях когда он не находит ответ в базе знаний. В статье собраны рекомендации, соблюдая которые, вы существенно улучшите качество ответов бота.
1. Все частые вопросы лучше добавить в раздел "Вопрос-ответ", т.к. он более гибко и точно определяет суть вопроса.
2. Базу знаний желательно разбивать на небольшие статьи.
Если у вас в базе знаний большие статьи с таблицами, картинками и вы не готовы менять базу для бота, то пришлите нам ссылку на типовую статью и 5 вопросов к статье. Мы настроим наш алгоритм, чтобы он хорошо отвечал по таким статьям. У бота есть множество опций которые ещё не видны в интерфейсе.
3. В базу знаний нужно делать заголовки похожие на вопросы "Как запустить аппарат".
4. Если в инструкции много шагов и картинок, то вначале коротко перечислить шаги: "Чтобы запустить аппарат следует сделать А. ... Б. ...".
5. Если статья называется "Как запустить аппарат", ТО в статье должна быть формулировка: ""Чтобы запустить аппарат ...". Часто название статьи одно, а описывает она похожую тему, но другую. Таким образом не отвечая на вопрос.
6. Если статья плохо находится, то нужно в ЛК добавить к ней "Дополнительный контент" и в нем различные формулировки заголовков (вопросов пользователя). Также бывает, что статьи с ответом на вопрос пользователя просто нет в базе знаний, тогда нужно добавить статью.
7. Не нужно делать сразу всю базу знаний - двигайтесь итерациями. Включайте бота и смотрите какие вопросы задают пользователи и на что плохо отвечает, определив это, вновь улучшайте базу знаний.
Наш опыт показывает, что системная итеративная работа позволяет в разы улучшить качество ответов.
8. Работа над ошибками бота:
Когда бот не дал ответ, первым делом нужно понять к какому из вариантов относится текущий случай:
a. У бота нет информации для ответа на вопрос ⇒ Добавьте информацию.
b. Бот не смог найти статью, в которой есть ответ ⇒ Рекомендации 2, 3, 4, 5, 6.
c. Бот нашёл статью, но не нашёл в ней ответ ⇒ Рекомендации 2, 3, 4, 5, 6.
8.1 Один раз в неделю /в две недели/ в месяц выгружайте детальный отчет в ЛК Wikibot. В детальном отчете есть все вопросы пользователей и ответы бота.
8.2 В столбце "Тип" поставьте фильтр по "NO_ANSWER".В столбце "Запрос" вы увидите вопросы по которым бот не дал ответа.
8.3 Идите по этим вопросам и настраивайте бота так, чтобы он на них отвечал, используя рекомендации 1-7.
9. Подсчет метрик
Чтобы видеть прогресс, необходимо считать метрики. Начните с самой простой: % вопросов, где бот дал ответ (относительно всех вопросов.)
Считайте эту метрику за интервал в день / неделю / месяц (см картинку).
Когда метрика будет регулярно больше 70% можно добавлять другие метрики.
О системе метрик для службы поддержки и как правильно их считать/внедрять/интерпретировать мы напишем отдельную статью.
10. Что делать, если бот отвечает неправильно? Уровень 2.
Более глубокое и детально описание читайте у нас в документации:
Кстати, для каждого клиента купившего пакет "Рост" и выше мы выделяем customer success manager.
Customer success manager поможет вам максимально круто обучить бота и ответит на все вопросы.