Хороший ИИ-помощник должен уметь недоговаривать

Недавно решил попробовать перечитать Сто лет одиночества, Маркеса. Первый раз читал давно, лет пятнадцать назад, и в голове от книги осталось общее ощущение плюс имена, которые все время повторяются. Ну и первое предложение, конечно, его все помнят. Пройдет много лет, и полковник Аурелиано Буэндиа, стоя у стены в ожидании расстрела, вспомнит тот далекий вечер, когда отец взял его с собой посмотреть на лед. Открываю, читаю эту строчку и ловлю себя на том, что не помню ровным счетом ничего. Какой полковник, за что расстрел, чем там все кончилось у стены.

Ну и сделал то, что делают, наверное, многие. Скопировал предложение, ушел в браузер, вставил в поиск. Первая же ссылка, конечно же, привела на разбор романа, где мне подробно объяснили, что это знаменитый прием и автор специально забегает вперед. И заодно напомнили, чем дело кончится у полковника, у стены и у всей семьи Буэндиа на семь поколений вперед. Спасибо, очень помогли. Весь смысл перечитывания был как раз в том, чтобы вспоминать это по ходу.

Поиск тут ни в чем не виноват, он честно отдал самое релевантное, но увы и ах, он понятия не имеет, что я на первой странице из четырехсот и что остальные триста девяносто девять хотел бы прожить сам, пусть и по второму кругу.

Так вот. Ровно этот вопрос теперь можно задать прямо в книге, не вылезая из читалки. В Яндекс Книгах у люмена (это их ИИ-компаньон, про него еще будет ниже) появилась функция объяснения текста, и я, если честно, последнюю неделю читаю с ней все подряд.

Работает до смешного просто. Открываешь любую книгу, выделяешь кусок, который не понял, хоть одно слово, хоть целый абзац. Во всплывающем окне, там же, где копирование и заметки, появляется кнопка с люменом и подписью объяснить. Жмешь, и прямо поверх страницы получаешь разбор. Что значит фраза, к чему отсылает, почему герой сказал именно так.

Самое важное, чем это отличается от поиска. Объяснение собирается по той части книги, которую ты уже прочитал. Люмен знает, до какого места ты дошел, и разбирает фрагмент из этой точки. С моим полковником он бы объяснил, что это прием и автор нарочно начинает с конца, а про то, что будет у стены и после нее, промолчал бы. Спойлер отрезан на уровне самой выдачи, без всяких предупреждений мелким шрифтом.

Есть и второй сценарий, про который я как-то не думал, пока не попробовал. Классика. Все читали мой дядя самых честных правил, и мало кто в курсе, что это отсылка к басне Крылова про осла, то есть Онегин с первой же строчки говорит про дядю довольно обидную вещь. Раньше такое узнавали из комментариев в конце тома (кто их вообще читает) или от учителя литературы. Теперь выделил строчку, нажал, прочитал, поехал дальше. То же самое с устаревшими словами, с терминами в нонфикшене, с предложениями у Толстого, где к концу забываешь, кто там подлежащее.

Функция сейчас раскатывается на всех (нужно обновить приложение), так что проверить у себя можно прямо сейчас, займет секунд десять.

Теперь о том, почему я считаю эту кнопку штукой поважнее, чем она выглядит.

Два года индустрия меряется длиной.. контекста. Миллион токенов, два миллиона, вся кодовая база разом, весь корпус документов компании. Логика тут понятная, чем больше модель видит, тем меньше шансов, что она начнет выдумывать.

В реальной работе выигрыш от объема упирается в потолок довольно быстро. Дальше начинается обратный эффект.

Джун приходит с вопросом по одному методу, а ассистент вываливает архитектурный разбор всего сервиса. Формально все верно. Практически человек закрывает вкладку.

Ревьюер, которому скормили весь репозиторий, пишет к пулл-реквесту на двадцать строк комментарий о том, что этот модуль вообще пора переписать. Тоже верно. Тоже мимо.

Я прошу разобрать статью, которую читаю прямо сейчас, и получаю выводы из ее последнего абзаца, пока сам нахожусь на третьем.

Полезный помощник держит в голове две штуки. Первая - что вообще известно про предмет. Вторая - что успел узнать про этот предмет конкретный человек прямо сейчас.

Вторая штука почти нигде не оцифрована. В бенчмарках ее нет, в описаниях моделей нет, в интерфейсах чаще всего тоже нет. Пользователь каждый раз объясняет свою позицию руками. Я на середине. Я это уже понял. Про это пока молчи.

Кто умеет донастраивать промпты, тот такие ограничения себе прописывает. Остальные получают лекцию с конца.

А в читалке все наоборот. Продукт и так знает, где я нахожусь, и строит ответ от этой точки. Звучит как мелочь, пока не прикинешь, как это делается. Книгу нельзя просто закинуть в модель одним куском. Ее надо резать по прогрессу чтения, держать синхронной позицию между текстом и аудио, отдельно договариваться с правообладателями о том, что вообще можно пересказывать. Дешевле и быстрее было бы сделать обычное саммари по всей книге и повесить дисклеймер про спойлеры. Так делают почти все.

На том же принципе у люмена работают еще две функции. О персонажах дает справку по героям, кто он такой, откуда взялся и как связан с остальными, и только по тем, кого вы уже встретили. Ранее в книге освежает пройденное перед тем, как вернуться к брошенному роману, и тоже без забегания вперед. Обе доступны по нажатию на люмена в читалке и в плеере аудиокниги.

Сериалы решили эту задачу лет двадцать назад. Каждая серия открывается нарезкой, которая возвращает вас в сюжет за сорок секунд, и никто не считает это костылем. Это часть формата.

С книгами так и не случилось, хотя читаем мы сейчас максимально рвано. Одна книга в метро с телефона, вторая в наушниках за рулем, третья лежит на тумбочке с закладкой на семьдесят второй странице с прошлой зимы. Толстый роман бросают на первой длинной паузе или на первой странице, которую не получилось понять. Стоимость возвращения слишком высокая, и в какой-то момент проще открыть что-нибудь новое.

Штука, которая эту стоимость снижает, для продукта дороже, чем очередной умный чат внутри приложения. Она возвращает человека к тому, что он уже начал.

Принцип дозированного контекста переносится куда угодно, где вы работаете с ассистентом.

Смешно, что все четыре пункта сводятся к одному. Помощнику надо сообщить, чего он говорить не должен. Пока это делает пользователь. Хорошие продукты начнут делать это за него.

И, кстати, еще одно наблюдение, уже про формат. Люмен сделан как питомец. У каждого подписчика он свой, со своей внешностью животного, разбудить его можно прямо в приложении Яндекс Книг или на сайте lumen.yandex.ru. Кроме объяснений и разбора персонажей он подсказывает, что почитать дальше, с учетом того, что вы уже читали, для этого есть кнопка внизу экрана за пределами читалки. Полноценный запуск по развлекательным сервисам Яндекса обещают в 2026 году.

Мне это интересно как ставка. ИИ-ассистенты в продуктах сейчас выглядят одинаково, иконка, окно, поле ввода. Отличаться на этом уровне нечем, под капотом у всех примерно одни и те же модели. Персонаж с внешностью и характером - это попытка сделать помощника тем, к кому возвращаются по привычке.

Сработает или нет, покажет год. Само направление у меня вопросов не вызывает, люди привязываются к тому, у чего есть лицо. Тамагочи доказал это задолго до появления LLM.

Последние пару лет мы обсуждаем ИИ в терминах мощности. Сколько параметров, сколько токенов, какое место в рейтинге. Практическая ценность помощника при этом складывается из вещей, которых ни в одном рейтинге нет. Знает ли он, где я остановился. Умеет ли объяснить фразу, не пересказав при этом всю книгу.

Модель, которая прочитала весь роман и объясняет мне одну строчку ровно с того места, где я остановился, устроена сложнее той, которая вываливает разом весь сюжет. И пользы от нее больше. Такие вот мысли.