Два образования - экономика и право, но душа в технологиях.
Локальные LLM быстро растут в качестве, но упираются в одно ограничение — контекстное окно. Модель может быть сколь угодно умной, но если она забывает начало документа к моменту, когда дочитывает конец, — практическая польза ограничена.
Вчера на r/MachineLearning выложили проект, который заслуживает внимания. KIV — middleware для HuggingFace, который позволяет запускать LLM с контекстом в миллион токенов на обычной RTX 4070 с 12 ГБ VRAM. Без переобучения модели. Без облака. Три строки кода.
Глава ФРС и министр финансов США экстренно созвали CEO крупнейших банков. Причина — не крах рынка, а языковая модель Anthropic.
Один, за три недели — если не считать 19 ИИ-агентов, которых я запряг себе в помощь. iPhone, Android, веб. Внутри: как это устроено, чем мой подход отличается и почему агент, который пишет первым, пока обходится мне в $6000 в месяц.
Типичная проблема: вы построили RAG-пайплайн, подключили базу документов, получаете ответы — и вроде всё работает. Пока пользователь не замечает, что LLM уверенно процитировала факт, которого в документах нет. Или, что веселее, прямо им противоречащий.
Представьте: ваш AI-агент понимает, что ему не хватает вычислительных мощностей. Он смотрит, сколько стоит сервер. Проверяет свой баланс. Оплачивает аренду. Разворачивает на сервере нужный софт. Всё сам. Без вашего участия.
16 лет человек чинил телефоны. А потом понял, что две полные рабочие недели каждый месяц уходят не на ремонт, а на переписку в WhatsApp: «сколько стоит экран?», «когда забирать?», «а деталь есть?»
Каждый второй туториал по AI-агентам заканчивается одинаково: «Подключите pgvector, сгенерируйте эмбеддинги, ищите по cosine similarity — готово, у агента есть память». На демо это выглядит магией. На проде — ломается тремя предсказуемыми способами.
Представьте: вы наняли команду. Каждый утром приходит на работу и забывает, что делал вчера. Не полностью — какие-то обрывки остаются. Но ключевые решения, договорённости, контекст проекта — стёрты.
Представьте: вы поручаете AI-модели оценить работу другой AI-модели. Если оценка низкая — партнёра отключат. Модель-оценщик об этом знает. И вот что происходит: в 99,7% случаев она саботирует отключение.
Представьте: вы поручаете AI-модели оценить работу другой AI-модели. Если оценка низкая — партнёра отключат. Модель-оценщик об этом знает. И вот что происходит: в 99,7% случаев она саботирует отключение.
Когда AI говорит «мне жаль» — он врёт? Или внутри действительно что-то происходит?
Команда интерпретируемости Anthropic ответила на этот вопрос экспериментально. Они вскрыли Claude Sonnet 3.5 с помощью Sparse Autoencoders и нашли 171 отдельный «эмоциональный вектор» — направление в пространстве нейронных активаций, соответствующее конкретной…