RAG или Finetuning?

В AI сообществе сложилась определенная классификация подходов к решению задач с помощью LLM. Вот хорошая статья про это. Мне была полезна такая классификация, возможно, будет полезна и вам. Позволю себе краткое саммари статьи.

Итак, есть два подхода.

RAG - Retrieval-Augmented Generation. Берут "generic" LLM, обученную на большом массиве данных и дополняют решение поиском по базе знаний, специфичной для вашего домена. Подходит, например, если делаете систему помощи для работы с внутренней базой знаний компании.

Finetuning. Снова берут уже обученную на большом датасете LLM и дообучают ее на меньшем наборе данных, специфичном для домена. Подходит, например, если делаете болталку на специфичные темы.

Простой набор вопросов, который поможет выбрать путь:

Выбирай RAG, когда: - требуется доступ к внешним источникам данных - необходимо минимизировать галлюцинации модели - нет большого набора данных для тюнинга модели - специфичные данные меняются во времени - необходима возможность анализировать источники и причины ответов системы

Выбирай Finetuning, когда: - требуется модификация поведения или стиля ответов модели - есть большой набор данных для тюнинга модели - доменные данные статичны - нет необходимости анализировать источники и причины ответов системы.

Канал Чуть больше продакта