"Обучи LLM на наших данных" - почему это будет пустой тратой денег в 90% случаев
Как то в бар заходит заказчик и говорит: Нам нужен дообучить чатгпт для чата в поддержку.
А Даниил отвечает: нет.
Почему дообучить LLM не равно заставить ее работать по базе знаний?
В мире AI есть два пути работы с данными. И для бизнеса разница между ними колоссальная.
1. Fine-tuning - Дообучение
Это то, что обычно происходит в голове у заказчика при желании добавить LLM. Мы берем модель и насильно скармливаем ей ваши данные, меняя её веса (мозги). Она запоминает информацию наизусть.
В чем проблема? Представьте, что вы заставили менеджера выучить прайс-лист наизусть. Он потратил месяц, вы заплатили ему зарплату.А на следующий день у вас изменились цены.И Менеджер хоть и общается как по учебнику, на обновление цен в голове ему снова нужен месяц!
Для MVP это смерть. Данные в бизнесе меняются постоянно. Обучать модель каждый раз — это долго и дорого.
2. RAG - Поиск по базе
Это то, что я делаю в 99% случаев.Мы не лезем нейросети в мозги. Мы просто даем ей доступ к вашей папке с документами (Google Docs, PDF, Excel, Notion).
Когда клиент задает вопрос, алгоритм:
- Находит нужный кусок текста в ваших файлах.
- Показывает его нейросети вместе с вопросом.
- Нейронка отвечает, опираясь на текст.
В чем удобство для бизнеса? Изменилась цена? Вышла новая инструкция? Заменяете файлик в папке (Или просите написать меня скрипт на автозамену файликов хоть каждую секунду). Всё.Через секунду бот уже отвечает по-новому. Никаких переобучений, никаких затрат на видеокарты, никакой доплаты.
Что выбрать?
- Хотите, чтобы бот изображал анимешную подругу? Это Fine-tuning. Переобучение.
- Хотите, чтобы бот четко отвечал на вопросы техподдержки, знал остатки на складе и не врал клиентам? Это RAG. Контекстная база знаний.
Мой стек (Python + n8n) идеально заточен под второе. Мы создаем систему, которая работает с актуальными данными здесь и сейчас.
Нужна консультация? Пишите в тг: @boiwow