Короткие запросы точнее длинных. Доказано

Исследование "Same Task, More Tokens" (ссылка:), проведенное учеными из Бар-Иланского университета, показало, как длина текста влияет на работу моделей искусственного интеллекта (ИИ). Для теста создали набор данных FLenQA: в тексты разной длины (от 250 до 3000 токенов) добавляли важные факты, например, "Катя старше Миши" и "Миша старше Лены", а остальное заполняли ненужной информацией. Моделям задавали вопрос вроде "Катя старше Лены?" и проверяли, насколько точно они отвечают.

1. Длинный текст снижает точность

Чем больше токенов, тем хуже результат. На 250 токенах точность достигала 0.92, а на 3000 падала до 0.68. Модели теряют важные детали в больших объемах данных.

2. Важное лучше ставить в конец

Информация ближе к концу текста запоминается лучше — это называется "эффект недавности". Если ключевые факты в начале, а дальше много лишнего, модель может их пропустить.

3. Пошаговые рассуждения помогают, но не идеальны

Метод Chain-of-Thought (CoT), где модель размышляет по шагам, повышает точность. Например, "Катя старше Миши, Миша старше Лены, значит, Катя старше Лены". Но даже с CoT точность падает на длинных текстах. Лучше всех с этим справилась GPT-4.

Как использовать на практике

1. Делайте запросы короткими

Оптимально — до 500 токенов (около 2720 символов на русском или 1500 на английском). Максимальная точность — до 250 токенов (1360 символов на русском, 750 на английском). Длинные тексты лучше разбивать.

2. Ключевое — в конец

Если сократить не выходит, размещайте важные данные ближе к финалу запроса. Так модель скорее их заметит.

3. Применяйте CoT для сложного

На длинных или запутанных задачах просите модель рассуждать пошагово. Это улучшает результат, хоть и не решает проблему полностью.

4. Разделяйте задачи

Вместо одного большого запроса вроде "проверь весь отчет" используйте несколько: "найди цифры в разделе 1", "проверь даты в разделе 2".

5. Добавляйте векторные базы в чат-боты

Для ассистентов не загружайте все данные в промпт. Используйте векторные базы (например, Pinecone или Supabase) для эффективной работы с информацией.

Полезные советы

- Убирайте повторы

Не пишите одно и то же разными словами — это сбивает модель и снижает точность.

- Сокращайте лишнее

Оставляйте только суть. Вместо "Проверь документ, посмотри внимательно, есть ли там данные о поставках" пишите "Найди в документе данные о поставках".

- Выбирайте подходящие модели

Для длинных текстов берите модели с встроенным пошаговым анализом, такие как o1, R1 от DeepSeek или Grok.

Пример

Длинный запрос: "Прочитай текст, проанализируй его и скажи, указаны ли в нем условия оплаты, а также проверь, четко ли они прописаны".

Короткий запрос: "Найди в тексте условия оплаты".

Итог

Длина текста напрямую влияет на точность моделей ИИ. Короткие и четкие запросы, важные данные в конце и дробление задач — ключ к лучшим результатам. Для сложных случаев помогут пошаговые рассуждения и векторные базы данных.