Как внедрять чат-бот для базы знаний сотрудников на несколько тысяч сотрудников? — "буше"

Привет! Мы интегратор AI в корпорации R77.ai Мы пошли к Ксюше Михайловой директору по развитию самой большой сети питерских пекарен "буше" и узнали, как они внедряли чат-бот на несколько тысяч человек по базе знаний сотрудников)

В "буше" 2000 сотрудников и каждый сотрудник должен посетить очный вводный тренинг, где рассказывают о производстве, корпоративах и бизнес-процессах, чтобы каждый понимал, где работает.

Большая часть наших сотрудников — это работники розницы. Пекарен много: открываются новые точки, коллективы обновляются — происходит бесконечный онбординг.

У нас есть внутренняя обучающая платформа для сотрудников, на которой они читают материалы и проходят тесты. Проблема заключается в сложности поиска информации, когда нужно быстро понять, как сделать что-то, с чем редко сталкиваешься.

Стало понятно, что сотрудники изучают платформу поверхностно: один раз читают и забывают. Но у нас не стояла задача сделать поисковик. Задачей было помочь сотруднику быстро решить проблему на основе огромного количества материалов — а это больше 650 документов.

Когда я запустила тестовую группу, в первый день появилось много вопросов, а на второй они закончились, и все тупо забили. Приходится постоянно напоминать, чтобы сотрудники использовали инструмент в работе. Без этого чат-бот долго учится. Это сложная часть внедрения — напоминать всем пользоваться чат-ботом.ъ

Далее нам надо было обучить модель.

Также использовали RAG

Делается запрос

Идет обращение в базу знаний

Подготавливается промт

Идем в LLM

Обработка и выдача ответа

Внутри компании в рознице есть стартап-команда — это элитная команда сотрудников, что-то типа команды тестировщиков, на которых мы пробуем инновации. С них и мы начали. Именно их опыт очень помог раскачать модельку.

Мы не рассказывали первой группе сотрудников, что это бот, чтобы получить живой опыт. Они начали спрашивать: «Как справиться с запарой?», «Как перестать ненавидеть людей?» или «Как перестать тревожиться?» — наверное, хотели узнать, что им ответит бот.

Причём на такие вопросы он отвечал лучше технических, потому что в последних он изначально очень сильно путался — слишком много информации. Он врал и ошибался, пока мы не привели в порядок все базы данных.

Сейчас бот использует около 200 пользователей. В конце июля будем распространять на всех: для обучения нужно больше пользователей и вопросов.

Мы поняли, что нам не хватает источников данных из базы знаний, так что решили, что будем парсить почту и внутренний канал. В базе знаний не найдёшь информации из внутренних переписок, а с чаи-ботом она мелькнёт в канале, запишется в базу и потом через какое-то время сотрется.

Не все оставляют обратную связь, но разработчик дотошно проверяет дизлайки. Если бот путается в документах, нужное «подкручивают» и приходят ко мне, чтобы мы поправили данные.

Уже готов сайт, на котором отдел обучения будет смотреть, какие вопросы задают боту. Документы на сайте размещены в формате ссылок, чтобы всё быстро подправить.

Почта. Иногда есть информация, которая «живёт» неделю-две, например, вывод нового продукта на рынок — и эту информацию не загружают в базу данных. Вместо этого она остаётся в почтовых рассылках.

Почту сложно обрабатывать, поскольку в ней много лишнего шума: кто что переслал, и вот это всё. Мы начали чистить и убирать лишнее.

Видео. В своё время мы снимали много видеообучений, да и продолжаем снимать видосы. Есть немного устаревшие, в которых достаточно полезной информации. Какие-то регламенты мы полностью убирали из базы знаний и обучающей платформы. Чтобы «выжать» максимум полезной информации, ребята фильтровали видео и выгружали субтитры в базу.

С любыми базами знаний есть сложность: все стараются ничего не удалять, а только добавляют. В итоге копятся дубликаты документов, которые конфликтуют друг с другом.

Проблемы с данными вскрылись, как только мы начали работать с ботом. Некоторые обучающие материалы отсутствовали, а другие нужно было обновить. Это неизбежная проблема для большой компании: слишком много бизнес-процессов, которые быстро меняются.

Менеджеры замотивированы обновлять регламенты. В «Буше» у каждого бизнес-процесса есть ответственный менеджер. Если в базе знаний что-то меняется, ответственный должен обновить информацию. Люди несовершенны — документация часто теряется.

С внедрением ИИ держатели регламентов сами хотят обновлять базу, поскольку так к ним возникает меньше вопросов. Никто больше не спрашивает у менеджера в 12 ночи, сколько запекать круассаны.

HR-отдел изучает, какие вопросы задают люди. Если пользователи интересовались у чат-бота какой-то темой, то значит, что-то где-то непонятно, где-то не хватило учебных материалов. Так, чат-бот влияет на проработку онбординга для сотрудников и регламенты.

Сотрудники пишут, какая информация нужна в базе знаний. Часто случается, что люди что-то спрашивают, а ответа на вопрос нет — сперва нужно загрузить регламенты. Так происходит, потому что производство и офисные работники не сильно вовлечены в процессы: они не понимают, зачем что-то описывать в регламентах, да и времени этим заниматься нет. Постепенно они понимают, что им самим легче, когда всё описано в базе знаний.

На старте мы сразу же cформировали метрики, по которым рассчитывали, насколько это успешный проект. Было бессмысленно играть просто так.

Сервисы для внутренних нужд. У нас много отделов, которые держат бизнес-процессы: отделы кадров, качества и работы с кассовым ПО. На каждый сыпется огромное количество вопросов.

Когда сотрудники спрашивают что-то напрямую, они создают большую нагрузку. При этом, когда вопросы задают боту, нагрузка снижается. У отделов появляются ресурсы выполнять больше задач, а не носиться с вопросами.

Поддержка пользователей. Есть данные, что чат-бот снизил нагрузку на первую линию поддержки. Сотрудники быстрее реагируют в ситуациях, когда нужно долго искать информацию, чтобы помочь гостю.

Мы не останавливаемся на том, что есть. Дальше мы планируем интегрировать бот с базой сервиса, чтобы он обучился на вопросах-ответах. Так он сможет сам отвечать на несложные вопросы — а вопросами посложнее будут заниматься уже сотрудники второй линии. Держать огромный кол-центр сейчас нет смысла.

У нас нет девопса — для него нет постоянных задач. При этом в Яндексе качественная поддержка. Есть и другие облачные решения, но выходит недорого, всё быстро работает, а ребята из Яндекса оперативно помогают. Как-то в чат-бот одновременно зашли 50 человек — ничего не случилось, ответы были такими же быстрыми.

Понятно, что база знаний кажется весомой, но мы храним не фотографии и видео — текст. Он весит не так много, как база знаний на платформе обучения.

После внедрения ИИ-консультанта хватило несколько месяцев, чтобы заметить, как автоматизация снизила нагрузку на специалистов. Вместо того, чтобы отвечать на каждый вопрос, менеджеры занимаются верхнеуровневыми задачами, используя освободившееся время. Кейс показывает, что корпоративное обучение можно цифровизировать и оптимизировать — главное проявить волю, чтобы внедрить ИИ.

Подписывайтесь на Телеграм-канал студии, там мы рассказываем о внедрении AI в сталелитейные, медицинские, банковские корпорации — только хардкор)