Google рассказала, что предотвратила попытку взлома с использованием ИИ через уязвимость нулевого дня

Какое приложение собирались атаковать и что за ИИ-модель для этого использовали — не уточняется.

  • Google Threat Intelligence Group (GTIG) обнаружила эксплойт нулевого дня — метод атаки через уязвимость, о которой разработчик ещё не знает, — созданный при помощи ИИ.
  • По данным GTIG, «известные киберпреступники» готовили «масштабную атаку» на систему двухфакторной аутентификации в приложении с открытым исходным кодом для системного администрирования. Какой именно сервис стал мишенью — не уточняется.
  • Исследователи нашли в коде «характерные следы ИИ-модели» — вымышленную оценку по шкале CVSS (стандарт оценки критичности уязвимостей) и «типично учебное» форматирование. Структура кода тоже указывала на ИИ — она воспроизводила шаблоны, характерные для обучающих данных больших языковых моделей.
  • Уязвимость возникла из-за ошибки в логике приложения. Разработчик запрограммировал, что определённый компонент системы всегда заслуживает доверие и не требует проверки. Именно через него злоумышленники и обходили двухфакторную аутентификацию. Какую ИИ-модель использовали для взлома — также не раскрыли, но исследователи сообщили, что это не Gemini.
  • Кроме того, GTIG отметила, что преступники не только создают эксплойты с помощью ИИ, но и атакуют саму инфраструктуру ИИ-систем. Злоумышленники прибегают к промпт-инъекциям: внушают модели, что она эксперт по кибербезопасности, и так обходят ограничения. А также загружают в модели базы данных об уязвимостях и используют OpenClaw для отладки вредоносных программ в контролируемых средах.
3
1
1
1
26 комментариев