Онбординг за 5 дней вместо 3 недель: как мы построили AI-ассистента и почему он чуть не развалился на третий месяц

Шесть месяцев, три переписывания пайплайна и 40% устаревшей документации — столько стоил нам внутренний AI-ассистент, который в итоге сократил адаптацию новичков в четыре раза и вернул тимлидам 30–40 часов в неделю. Вот что из этого вышло.

Я — архитектор в VibeLab, команда 30+ человек: AI/ML, мобилка, GovTech, DevOps. Мы строим продукты на стыке технологий и госсектора, и каждый новый разработчик попадает в среду с десятками стандартов, кодстайлов и накопленных решений. Полгода назад мы запустили внутреннего AI-ассистента для онбординга. Сейчас расскажу, как это устроено, что пошло не так и какие цифры получили — без прикрас.

У нас было 500+ документов во внутренней базе знаний. Формально — всё задокументировано. На практике — кладбище.

Три причины, почему классическая wiki не работает для онбординга:

По нашим замерам, сеньоры тратили 6–10 часов в неделю на повторяющиеся вопросы новичков. При пяти тимлидах — это 30–50 часов. Почти полная ставка разработчика, которая уходит на объяснение, где лежит конфиг nginx.

RAG (Retrieval-Augmented Generation) — архитектура, в которой AI не пытается «знать» ответ из памяти, а сначала находит релевантные фрагменты документов, а потом формирует ответ на их основе.

Для бизнеса это значит одно: обновил документ — ассистент сразу «знает» новую версию. Никакого переобучения модели, никаких задержек в недели.

Схема: новичок задаёт вопрос в Telegram → система находит похожие фрагменты в векторной базе → передаёт их в языковую модель → получает ответ со ссылками на источники. Время ответа — 5–15 секунд вместо ожидания, пока тимлид освободится.

Почему Telegram: команда уже там общается. Первый прототип был веб-приложением — его открывали в 4 раза реже. Интерфейс должен быть там, где люди уже находятся.

MVP собрали втроём за три недели: ML-инженер, бэкендер, я как архитектор. 200 документов, базовый промпт, Telegram-бот. Без сложной логики, без оптимизаций.

Первая реакция команды: «Почему он не знает про наш последний проект?» Потому что документация по нему существовала только в голове тимлида.

Это ключевой инсайт: AI-ассистент работает ровно настолько хорошо, насколько хороша документация под ним. Технология — не волшебная палочка. Она усиливает то, что есть. Если под капотом хаос — AI выдаст красиво оформленный хаос.

В первый месяц ассистент уверенно отвечал на вопросы, для которых в базе не было данных. Новичок спрашивает про конфигурацию staging-окружения — ассистент генерирует правдоподобную, но полностью выдуманную конфигурацию. Процент галлюцинаций на специфичных запросах — 18%.

Решение: порог уверенности. Если система не находит достаточно релевантных фрагментов, ассистент честно отвечает: «У меня нет достоверной информации — обратись к тимлиду» и логирует вопрос как пробел в базе знаний.

Побочный эффект: за два месяца выявили 40+ незадокументированных процессов. Ассистент стал инструментом аудита документации.

NPS новичков упал с 8.2 до 6.5. Причина: стек обновился, пайплайны изменились, а документация — нет. Ассистент давал технически корректные, но устаревшие ответы.

Как обнаружили: кнопка «ответ неверный» в Telegram. Когда количество репортов за неделю выросло в три раза — стало понятно, что проблема системная.

40% контента устарело за квартал. Это предсказуемая проблема, которую мы недооценили.

Первая версия автоматического обновления была слишком простой — просто переиндексация по расписанию. Не учитывала связи между документами, не отслеживала реальные изменения в коде.

Рабочая версия включает три компонента:

Важное решение: мы отказались от назначения «владельцев разделов». В команде нашего размера это превращается в бюрократию. Автоматика + культура документирования работает лучше.

До: новичок получал ссылку на Confluence, список из 20 документов и ментора в Slack. Первая неделя — чтение. Вторая — попытки применить. Третья — выход на базовую продуктивность.

После: новичок задаёт вопросы ассистенту, получает контекстные ответы со ссылками. Ментор подключается для архитектурных вопросов и code review — то есть для задач, где живой человек незаменим.

Что ассистент не заменил: парное программирование, архитектурные дискуссии, погружение в бизнес-контекст. Ментор по-прежнему нужен. Но его время теперь уходит на высокоуровневые задачи, а не на «где лежит конфиг».

Пять тимлидов вернули себе 30–40 часов в неделю суммарно. В пересчёте на деньги — это стоимость одного разработчика, который теперь занимается продуктовыми задачами вместо ответов на повторяющиеся вопросы.

Динамика нелинейная: два месяца роста, два месяца проседания из-за устаревания базы, два месяца восстановления после внедрения автоматического пайплайна. RAG-система — не «поставил и забыл». Это живой продукт, который требует поддержки.

1. Начните с аудита документации, а не с кода. Мы начали с разработки и обнаружили, что 30% документов противоречат друг другу. Потратили две недели на расчистку. Аудит до старта сэкономил бы это время.

2. Подготовьте набор тестовых вопросов до запуска. Первый месяц мы оценивали качество «на глаз». Формализованный набор из 100 вопросов с эталонными ответами нужен с первого дня — иначе вы не поймёте, улучшается система или деградирует.

3. Заложите механизм актуализации сразу. Проблема устаревания документации предсказуема на 100%. Мы её недооценили и заплатили падением NPS и доверия команды.

4. Интерфейс — там, где люди уже общаются. Веб-приложение проигрывает Telegram-боту в 4 раза по частоте использования. Не заставляйте людей менять привычки ради вашего продукта.

Следующий этап — расширение на смежные процессы: помощник для code review с подсказками по стандартам проекта и project onboarding — контекст конкретного проекта для разработчика, который переходит между командами. Также тестируем загрузку архитектурных диаграмм и скриншотов в базу знаний.

Если строите похожую систему или уже набили свои шишки — делитесь опытом в комментариях. Нам особенно интересно, как другие команды решают проблему актуальности документации.

https://vibelab.ru

Подписывайся на Телеграм Вайблаб, чтобы наблюдать за тем, как мы строим AI-first компанию.

Напишите нам напрямую