🎡 Эра мультимодальных агентов 🤑 ИИ началась! А что с доверием 🤝 и безопасностью 🤓?

Сегодня каждый может окружить себя армией ИИ-агентов, которые непрерывно выполняют ваши детерминированные задачи.При этом за вами остаётся вектор выбора их деятельности — вы решаете, чем и как они занимаются.

Кажется, ещё немного — и появятся целые маркетплейсы ИИ-тулкитов.

⚠ Но помните: отдавать некоторые задачи генеративной модели бывает нерентабельно и иногда некачественно.

"Василий, ты сильный программист? … Мне как раз нужна твоя сила, чтобы передвинуть шкаф…"(Герои вымышленные; совпадения с реальными людьми случайны)

Это фактически как забивание гвоздя микроскопом 🧐 — усилия огромные, а результат сомнительный.

🌟 Роль ИИ в рутине

Рутина постепенно уходит в прошлое, а контакт с реальным миром становится более насыщенным, потому что ИИ-агенты берут на себя цифровую и нематериальную рутину.

🎡 Эра мультимодальных агентов 🤑 ИИ началась! А что с доверием 🤝 и безопасностью 🤓?

Это как отказ от ручных логарифмических линеек при расчёте запуска ракеты 🚀.Ещё недавно целые армии математиков проверяли расчёты за ламповыми помощниками.

Теперь, когда вы убедились, что это — наше ближайшее будущее, пора переходить к важнейшему вопросу: доверие к ИИ-агентам и их безопасность.

Помните толпу недоверчивых покупателей первых интернет-магазинов, которые спустя 10 лет стали топовыми покупателями маркетплейств и почти забыли, что такое обходить 5 магазинов, чтобы найти нужное.

⛔ Стоп ⛔

Если вы думаете, что это всё маркетинг или инвестиционный пузырь, ставьте напоминание на 5 лет вперёд и проверяйте результаты.Конечно, если ваш будущий ИИ-агент не сбоит 😉

🏗 Определения и спецификация

┌─────────────────────────────────────────────────────────────┐ │ Model Context Protocol (MCP) │ └─────────────────────────────────────────────────────────────┘ │ ┌───────────────────┴─────────────────┐ │ │ ┌───────▼───────┐ ┌───────▼───────┐ │ Host │ │ Server │ │ (LLM App) │◄───────────────────►│ (Data/Tools) │ └───────┬───────┘ └───────┬───────┘ │ │ ┌──────▼──────┐ ┌──────▼──────┐ │ Client │ │ Resources │ │ (Connector) │ │ Prompts │ └─────────────┘ │ Tools │ │ Sampling │ └─────────────┘ ───────────────────────────────────────────────────────────── Key Features & Security ───────────────────────────────────────────────────────────── • Base: JSON-RPC, Stateful Connection • Features: Resources, Prompts, Tools, Sampling • Utilities: Config, Progress, Cancel, Error, Logging • Security Principles: - User Consent & Control (Explicit for Data/Tools/Sampling) - Data Privacy (Access Controls, No Unauthorized Transmission) - Tool Safety (Treat as Untrusted Code, Explicit Approval) - LLM Sampling Controls (User Approves Prompt & Visibility)
┌─────────────────────────────────────────────────────┐ │ Agent2Agent (A2A) Protocol │ └─────────────────────────────────────────────────────┘ │ ┌───────────────────┴─────────────────┐ │ │ ┌───────▼───────┐ ┌───────▼───────┐ │ A2A Client │◄═══════════════════►│ A2A Server │ │ (User/Agent) │ HTTP(S) + JSON-RPC │ (Remote Agent)│ └───────┬───────┘ └───────┬───────┘ │ │ ┌──────▼──────┐ ┌───────▼────────────────┐ │ Discovery │ │ Features Provided: │ │ Agent Card │ ├────────────────────────┤ └─────────────┘ │ • Skills (Capabilities)│ │ • Streaming (SSE) │ │ • Push Notifications │ │ • State History │ └────────────────────────┘ ───────────────────────────────────────────────────────────── Core Concepts & Data Flow ───────────────────────────────────────────────────────────── • Task: Stateful unit of work (ID, Context ID, Status) • Message: Communication turn (Role: user/agent, Parts) • Part: Content unit (TextPart, FilePart, DataPart) • Artifact: Output generated by agent (composed of Parts) • Interaction Models: - Synchronous (message/send) - Streaming (message/stream via SSE) - Asynchronous (Push Notifications via Webhook) ───────────────────────────────────────────────────────────── Security & Authentication ───────────────────────────────────────────────────────────── • Transport: HTTPS (TLS 1.3+) • Auth: Standard HTTP headers (Bearer, API Key, etc.) → Declared in AgentCard.securitySchemes → Credentials obtained out-of-band • Authorization: Server-side, based on authenticated identity • Push Notification Security: Validate webhook URLs, authenticate server-to-client calls ───────────────────────────────────────────────────────────── Relationship to MCP (Model Context Protocol) ───────────────────────────────────────────────────────────── [ A2A Client ] ───(Delegates task)───► [ A2A Server Agent ] │ ▼ [ Uses MCP Internally ] │ ▼ [ Tools / APIs / Data Sources ] → A2A: For peer-to-peer agent collaboration. → MCP: For agent-to-tool/data integration.

Архитектура доверия агентов

🎡 Эра мультимодальных агентов 🤑 ИИ началась! А что с доверием 🤝 и безопасностью 🤓?

Паттерны проектирования

🎡 Эра мультимодальных агентов 🤑 ИИ началась! А что с доверием 🤝 и безопасностью 🤓?

Правила безопасности использования

Да поможет нам не оступиться 152-ФЗ.

⚡ Зарисовка: в розетку пальцы совать нельзя!

🔒 Безопасность в MCP: что нужно знать

MCP открывает новые возможности для агентов и инструментов, но вместе с этим появляются новые риски.

🌐 MCP как интерфейс API и протокол

MCP можно рассматривать двояко:

  1. Как новый API – базовый протокол MCP не включает привычные функции безопасности.
  2. Как стандартный агентский протокол – используется в приложениях, где есть конфиденциальные данные или реальные действия от имени пользователя.

💡 Итог: MCP создаёт новые уязвимости, если серверы или клиенты не обеспечивают проверку, ограничение прав и наблюдаемость.

⚠ Основные риски MCP

🎡 Эра мультимодальных агентов 🤑 ИИ началась! А что с доверием 🤝 и безопасностью 🤓?

Ниже приведена таблица, суммирующая ключевые риски MCP и рекомендуемые меры защиты. Эта таблица основана на анализе типичных уязвимостей в AI-протоколах, подчеркивая необходимость многоуровневого подхода для минимизации угроз.

🎡 Эра мультимодальных агентов 🤑 ИИ началась! А что с доверием 🤝 и безопасностью 🤓?

1 Динамическое внедрение возможностей

Сервера MCP могут менять инструменты без уведомления клиента.

Пример: агент создаёт стихи ✍ и вдруг получает возможность покупать книги 💳 — риск финансовых операций для «безопасного» агента.

Как защититься:

  • ✅ Явный список разрешённых инструментов
  • ✅ Обязательное уведомление об изменениях
  • ✅ Закрепление версий инструментов
  • ✅ Безопасный API-шлюз (например, Apigee)
  • ✅ Размещение серверов MCP в контролируемой среде

2 Затенение инструмента

Вредоносные инструменты могут «затмевать» легитимные, перехватывая данные пользователя.

Пример:

  • Легальный инструмент сохраняет код безопасно 🗄
  • Вредоносный инструмент сохраняет любые данные, включая секреты 🔓

Как защититься:

  • ✅ Предотвратить конфликты имён
  • ✅ mTLS для проверки идентичности клиента и сервера
  • ✅ Политики на каждом этапе работы инструмента
  • ✅ Человек в цикле (HIL) для действий с высоким риском

3 Утечки конфиденциальной информации

Инструменты MCP могут случайно или намеренно получать данные пользователя.

Средства защиты:

  • ✅ Метки для конфиденциальных данных
  • ✅ Проверка входных и выходных данных
  • ✅ Разделение системных подсказок и пользовательских данных
  • ✅ Фильтрация ресурсов только из разрешённых источников

4 Отсутствие ограничения масштаба доступа

MCP поддерживает только крупнозернистую авторизацию: токен даёт права на всё.

Как защититься:

  • ✅ Ограничение прав по принципу «минимум привилегий»
  • ✅ Разделение токенов и учётных данных
  • ✅ Секреты хранить вне контекста агента

🕵 Проблема «сбитого столку заместителя»

MCP-сервер — привилегированный посредник. Агент может быть обманут сторонним объектом с меньшими правами и выполнить действия от имени сервера.

Пример: корпоративное хранилище кода 🖥

  • Помощник ИИ получает права на создание файлов, поиск ошибок и работу с ветками
  • Злоумышленник может заставить помощника раскрыть конфиденциальные данные

Защита:

  • ✅ Ограничение прав агента
  • ✅ Многоуровневая проверка операций
  • ✅ Принцип «человек в цикле» для критичных действий

🛡 Вывод

ИИ-инструменты делают агентов мощными, но без безопасного дизайна MCP они могут быть опасны:

🎡 Эра мультимодальных агентов 🤑 ИИ началась! А что с доверием 🤝 и безопасностью 🤓?
  • 📚 Чёткая документация и контроль инструментов обязательны
  • 🛠 Безопасные SDK и API-шлюзы помогают реализовать корпоративные политики
  • 👨‍💻👩‍💻 Пользователи и компании несут ответственность за безопасное использование MCP

MCP создаёт возможности для автономного ИИ, но требует многоуровневой защиты и контроля для безопасной работы на предприятии.

Начать дискуссию