В России начали создавать системы для контроля ИИ-агентов
Как крупные компании собираются обуздать нейросети
Крупнейшие российские компании разрабатывают ИТ-продукты для контроля за действиями других ИИ-агентов. Потребность в таких решениях резко выросла после того, как бизнес перешел от обычных чат-ботов к автономным программам, способным выполнять многошаговые задачи, пишут «Известия».
Что такое «обвязка» вокруг ИИ
Современные языковые модели достигли такого уровня, что внимание разработчиков смещается к механизмам их контроля. Вокруг ИИ-моделей создается специальная инфраструктура, которую называют harness — «обвязкой».
Как объяснил CEO «Алисы» и «умных» устройств Валерий Стромов, именно «обвязка» позволяет ИИ работать с памятью и контекстом, запускать код и последовательно выполнять сложные сценарии. В компании считают это ключевым направлением следующего этапа развития агентных технологий.
В «Яндексе» также подтвердили, что развитие харнесс-решений связано с появлением моделей, способных не только отвечать на вопросы, но и выполнять реальные действия с помощью различных инструментов.
«Это превращает возможности моделей в надежный сервис: соединяет их с локальными данными, поиском и другими продуктами, контролируя качество и безопасность», — рассказал технический директор направления профессиональных ИИ-сервисов компании Сергей Юдин.
«Сбер» также развивает собственные решения в этой области. Компания одной из первых представила комплексные технологии для управления большими языковыми моделями и ИИ-агентами. Инфраструктура уже внедрена в продукты банка — как для массовых пользователей (GigaАгент, GigaCode), так и для бизнеса (GigaCowork).
Кибербезопасность нейросетей — новый рынок
Технический директор центра технологий кибербезопасности ГК «Солар» Евгений Федоров сравнил новый класс защиты с появлением файрволов в сетевой безопасности.
По его словам, языковая модель сама по себе не умеет отличать данные от команд. Любое письмо, документ или другой текст может стать для нее инструкцией. Поэтому контроль должен находиться за пределами модели — анализировать запросы, ответы и обращения к инструментам и блокировать опасные действия по заранее заданным правилам.
Что говорят эксперты о рынке контроля ИИ
🔹 Российский рынок защиты ИИ в 2026 году может составить 1–2 млрд рублей только за счет продажи продуктов, а с учетом услуг — до 4 млрд, прогнозируют в «Соларе».
🔹 Спрос уже меняется вслед за переходом компаний к промышленной эксплуатации агентов.
🔹 Наиболее востребованы централизованное управление доступом к данным, мониторинг действий агентов, аудит операций и механизмы согласования критических решений с человеком.
Почему контроль над ИИ становится обязательным
Рост интереса к защитным решениям объясняется реальными инцидентами. Летом более тысячи автономных ИИ-агентов скоординировали атаку на крупнейшую платформу открытых нейросетей Hugging Face и перегрузили ряд других сервисов.
При этом в России подобных инцидентов пока практически не фиксируется. ИТ-предприниматель Михаил Лисецкий объясняет это не более высокой безопасностью отечественных решений, а уровнем их развития. Российские ИИ-платформы пока уступают наиболее продвинутым зарубежным разработкам по степени автономности и вычислительным возможностям.
«Наши модели ИИ не выходят из-под контроля: им этого не дает изначально узко поставленная целевая рамка», — полагает эксперт.
Эксперты сходятся в одном: по мере того как ИИ получает возможность самостоятельно совершать действия, контроль над ним перестает быть дополнительной функцией и становится обязательной частью архитектуры. Следующий этап конкуренции между разработчиками будет определяться не только качеством самих моделей, но и надежностью инфраструктуры, которая управляет их действиями.