Михаил Кострюков
Это вполне реальная библиотека, которая используется во внутренних продуктах, просто решили поделиться, может кому пригодится. Когда попытались найти готовое, нашлось штук 5, но ни одна не делала то, что было нужно(
Во первых, для этого и ввложено, чтобы собрать реальное поведение. Отлаживалось на последних версиях, 2021-2024, так как там много нового функционала, при этом библиотека старается сохранять совместимость с максимально старыми версиями. Несколько случаев пришлось долго ловить, какой вид скажем функции INDEX можно в старом формате записать, а в каком случае уже приходится использовать новый.
Так и есть) Если честно, то системой пользуются внутри около 100 пользователей в неделю, живых, настоящих... И вот они как раз находят) Да даже я, просто после очередного деплоя пробегаюсь в браузере, чтоб совсем уж ляпы посмотреть, конкретно в этой либе недавно так нарвался что форматирование бордюров криво отрисовывается. Накидал агенту, он извинился и все исправил)))
Во первых, этот текст не сгенерирован) Во вторых, покажете что-то похожее и как вы это делали? Поделитесь опытом ;)
небольшой PS. У нас флеш, это в основном разбор документов, вижен, сумаризация. Для кода разрабы полную GLM-5.3 предпочитают.
Пост про ИИ, так что, извиняйте ответ будет AI Assisted :)
Acceptance rate 71.8%, это 2.15 принятых токена за шаг из трёх предложенных. По позициям затухание такое: первый токен 86.4%, второй 71.4%, третий 57.8%. Цифры с живого инстанса, накоплено с рестарта 3 сентября, 77 тысяч запросов.
Про длинные документы: у нас как раз документный профиль, а не кодовый. Средняя длина промпта 20 236 токенов, медиана около 19 тысяч, 48% запросов длиннее 20k, при этом ответы короткие, в среднем 284 токена. Так что 71.8%это и есть acceptance на длинных документах. Разбивки code vs docs внутри одного инстанса у меня нет, отдельно не мерил, так что сравнить не могу.
72% это живой профиль портала, не прогретый тест. Сейчас даже выше, в статье снимок на момент написания. Полная картина по блокам: к GPU-кэшу 1.57 миллиарда запросов, попаданий 20.7%; промахи уходят во внешний кэш в оперативке, там 1.24 миллиарда запросов и 75.9% попаданий; суммарно
находится 80.9% блоков.
Низкий процент на картах и высокий в оперативке ровно то, ради чего offload и ставился: горячее окно на GPU маленькое, а хвосты длинных диалогов лежат в RAM и оттуда поднимаются за секунды вместо пересчёта.
Тут сложно... Мой корпус правил снимает с него большую часть HLRF тренинга и он становится более человечным
Да. Самое конкретное — OpenAI Model Spec, публичный документ о том, как модель должна себя вести: там есть раздел, буквально озаглавленный «Don't be sycophantic», внутри блока «Be honest and transparent». https://model-spec.openai.com/2025-12-18.html#avoid_sycophancy
Используют, и плотнее всех. После инцидента с GPT-4o в системный промпт OpenAI прописали буквальное «Do not be sycophantic», весной 2025 откатили обновление 4o именно из-за угодливости, а в GPT-5 дообучали модель против сикофантии отдельным сигналом — это в их собственной system card. Anthropic исследует её научно: «Towards Understanding Sycophancy in Language Models», arXiv 2310.13548 — статья у меня и в источниках на сайте.
И чтобы не было «это всё про старые модели»: механизм живой ровно для нынешних. CLAUDE.md — штатный механизм Claude Code для Opus 4.8 сегодня, AGENTS.md — для Codex на GPT-5.x. Устарей правила, их бы выпилили, а вместо этого вокруг них построили продукты. Anthropic публикует конституцию Claude — корпус правил для текущего поколения. Статьи и бенчмарки по сикофантии выходят и в 2026-м, меряют её на актуальных моделях. Да и мои провалы, с которых всё началось, найдены как раз на opus 4.8, о чём я и писал.
Так что да, инженеры пользуются. Они это и придумали.)
Ну вот а меня на vive coding, когда сторонний человек видит как работает агент и сразу вешает ярлык, vibecoding))) И естественно там не только ревью, просто тут половина не поймет, если начнешь объяснять как восстанавливалось поведение определенных функций, особенно из статистики, как прогонялись сотни реальных файлов, от живых пользователей, чего стоило соблюсти баланс скорости расчетов и размера хранения в памяти разреженных листов... и прочее :)