Как мы корпоративный AI тренировали
Все началось с того, что мы в "Intelion Cloud" – компании, которая, как следует из названия, занимается облачными решениями, надумали рассказать нейросети все, что сами знаем о своей работе и воспитать идеального ИИ-ассистента. Посвятить её в знания о структуре Группы "Intelion", регламентах работы, функционале сотрудников и так далее.
Цель была простая: получить ответственного и знающего помощника, к которому можно обратиться с любым вопросом. Другими словами – собрать базу знаний с возможностью обратной связи.
Наши ML-специалисты закаленные в боях с GPT-2, LLaMA3, Sentence Transformer и BERT, решительно взялись за дело.
Для тренировки выбрали LLaMA3. Модели отличаются внутренней архитектурой и специфическими задачами, под которые обучаются. LLaMA3 хорошо решает задачи генерации и бодро отвечает на вопросы пользователя, а именно это нам и было нужно.
Дальше начался сериал с элементами триллера.
Эпизод 1. «RAG нам не враг!». Мы развернули LLaMA3 на своём сервере, потестили её и поняли, что нам не хватает знаний о том, как скормить модели всю кучу документов: забрасывать их каждый раз в каждый чат неправильно, быстрее спросить у человека.
Так мы познакомились с технологией RAG, которая сочетает в себе методы извлечения информации и генеративные модели для создания более точных и содержательных ответов на запросы. Этот подход позволяет сначала извлекать релевантные данные из базы знаний, а затем использовать их в процессе генерации ответа, что значительно улучшает качество результатов.
Эпизод 2. «Созвонимся на пять минут». Собрали созвон с заинтересованными людьми. Изложили технологию и обсудили, какие общие знания о компании можно загрузить в нейросеть. Затем получили их в виде docx-файла и собрали тг-бота, который должен был хорошо и внятно отвечать на вопросы о компании.
На второй созвон пригласили генерального директора "Intelion Mine", Тимофея Семёнова, чтобы продемонстрировать бота. Бот показал себя с лучшей стороны: на вопрос, кто является генеральным директором компании, ответил бодро и совершенно неправильно, указав на руководителя одного из отделов. Удружил, одним словом.
Конфуз конфузом, но почему?!
Оказалось, что только для нас «генеральный директор» и «руководитель отдела» – это разные явления, а LLM было не так просто отыскать подходящий блок текста по документу и понять, какой именно manager нам нужен.
Эпизод 3. "Я в манагеры пойду, пусть меня научат!" Устраняем баги и размещаем нашего тг-бота на сервере. Обучаем обрабатывать кучу запросов одновременно, потому что впереди у него важное мероприятие – знакомство с отделом продаж. Внешне он выглядит браво, но как только 16 человек примерно в одно и то же время задают ему разные вопросы, начинает чувствовать недомогание, а потом и вовсе ложится.
Но отдел продаж – люди нетерпеливые, им нужны мгновенные ответы, кроме того информация, которую они запрашивают, часто меняется (новые поправки к законам, новые люди в компании, новые юридические комментарии, и так далее). Соответственно, нужно подключать гугл-таблицы с апдейтами, следить за ними и использовать нейросеть для интерпретации табличных данных.
И это только для внутреннего пользования. А прежде, чем выпустить бота в мир, нужно научить его не только раскрывать информацию, но и скрывать ее, иначе коммерческую тайну не уберечь.
В общем, для работы в отделе продаж наш бот оказался не приспособлен.
Эпизод 4. Корпоративный ИИ на минималках. После ряды тестов с другими подразделениями (юристами и HR) выяснилось, что бот склонен к словотворчеству – зарплатная ставка у него легко превращается в «зажратную», а поиск информации по RAG не решает текущие задачи отделов. К тому же, чтобы понравится юристам, нужно конкурировать с «Консультант+», «Гарант» и прочими юридическими продуктами, а наш бот только-только научился правильно писать «зарплатная ставка».
Но это не значит, что нашего AI-помощника не приняли на работу в компанию. По прогнозам CEO Nvidia Дженсена Хуанга наше будущее – это корпоративный AI, который способен встроиться в инфраструктуру компании и усиливать ее.
И самой востребованной функцией сервиса оказалось улучшение внутренней коммуникации, связей между отделами и поиск информации с указанием, к какому сотруднику обратиться, если ответа на вопрос в базе нет.
Так наш продукт стал прообразом корпоративного AI: научился всем помогать, давать справки и выдавать точное местоположение ответственного за работу принтера. При наличии нескольких компаний в нескольких офисах это оказалось жуть, как удобно.
А наш ML-специалист Артем уверен, что в скором будущем наша LLM сможет анализировать данные и выполнять сложные задачи по поиску нужной информации и поддержке не только сотрудников, но и клиентов.
Так что если у вас есть потребность в таком продукте и вы тоже хотите улучшить и оптимизировать коммуникации внутри компании – пишите нам, все расскажем!
И подписывайтесь на наш ТГ-канал, там больше новостей AI и удивительных историй. А еще мы охотно делимся лайфхаками и иногда разыгрываем серверное время!