"Галлюцинации в RAG ловят без LLM-судьи — и это работает лучше"

Типичная проблема: вы построили RAG-пайплайн, подключили базу документов, получаете ответы — и вроде всё работает. Пока пользователь не замечает, что LLM уверенно процитировала факт, которого в документах нет. Или, что веселее, прямо им противоречащий.

Стандартное решение — LLM-as-a-judge. Второй вызов к GPT-4, который проверяет первый. Двойная латентность, двойная стоимость, и вишенка: судья тоже может галлюцинировать.

Появился инструмент, который решает задачу иначе.

Open-source Python-пакет ([GitHub](https://github.com/ENDEVSOLS/LongTracer), MIT). Устанавливается через `pip install longtracer`, не требует API-ключей и не вызывает внешних LLM.

Принцип работы в четыре шага:

**Шаг 1.** Ответ LLM разбивается на отдельные утверждения (claims).

**Шаг 2.** Каждый claim сопоставляется с предложениями из source-документов через bi-encoder all-MiniLM-L6-v2. Это быстрый поиск семантически похожего фрагмента — Semantic Textual Similarity.

**Шаг 3.** Пара «claim + лучший source» проверяется cross-encoder nli-deberta-v3-xsmall. Модель Natural Language Inference классифицирует: подтверждение, противоречие или нейтраль.

**Шаг 4.** Результат: trust_score от 0 до 1, количество галлюцинаций, и точный список проблемных утверждений с указанием на конфликтующий источник.

Пять строк кода до первого результата:

```python from longtracer import check

result = check( "Эйфелева башня — 330 метров, находится в Берлине.", ["Эйфелева башня в Париже, 330 метров."] ) # verdict: FAIL, hallucinations: 1 (Берлин ≠ Париж) ```

**Скорость.** 50–200 мс на claim vs 1–5 секунд на полный LLM-вызов. В interactive-сценарии — разница между «работает» и «тормозит».

**Стоимость.** $0 за проверку. Модели весят суммарно ~100 МБ и крутятся локально. При 10 000 проверок в день экономия на API ощутимая.

**Детерминированность.** Одинаковый вход — одинаковый выход. Всегда. LLM-судья может дать разные оценки на один и тот же запрос из-за temperature и prompt sensitivity.

**Объяснимость.** Вместо «модель считает, что ответ некорректен» — конкретная пара: вот claim, вот противоречащий ему source, вот метка contradiction.

Честно: NLI-модель на 22M параметров не уловит тонкие логические цепочки. «Компания основана в 2020» vs «компании 6 лет» — это требует арифметики, а не семантического сравнения.

LongTracer хорош для фактологии: имена, числа, даты, прямые утверждения. Для complex reasoning по-прежнему нужен LLM.

**Guard rail** — проверка на выходе, отказ при trust_score ниже порога. Лучше «не знаю», чем выдуманный факт.

**Двухуровневая проверка** — LongTracer как быстрый фильтр, LLM-judge только для серой зоны. Экономит 60–80% вызовов к дорогому API.

**Batch-аудит** — прогон вчерашних логов, поиск проблемных ответов, коррекция retrieval.

Есть готовые адаптеры для LangChain, LlamaIndex, Haystack, LangGraph — подключение в три строки.

RAG — стандарт для enterprise AI. Банки, юристы, медицина строят на нём продукты. В этих доменах галлюцинация — не баг, а compliance-нарушение. Регуляторы требуют аудируемых процессов верификации. «Спросили другую LLM — она сказала ок» — не пройдёт.

Детерминированный, объяснимый, локальный детектор противоречий — это не серебряная пуля. Но конкретный инструмент для конкретной дыры.

А вы как проверяете faithfulness ответов в своих RAG-пайплайнах?