Принцип «нулевого доверия» к ИИ

Производительность, которую дают ИИ-ассистенты, ощутима, но цена, которую мы за это платим, в среднем по больнице вызывает вопросы. Большое исследование «The State of AI Code Quality» от аналитической компании Qodo подводит под это фактическую базу. Анализ 138 миллионов строк кода выявил системные проблемы качества.

Центральный тезис отчёта: 92 % кода, сгенерированного с помощью ИИ, содержат различные дефекты. Эта цифра — индикатор текущей зрелости технологии и необходимости в строгом инженерном контроле.

Отчёт Qodo классифицирует проблемы, выходя за рамки общей статистики. Наиболее частотные категории дефектов:

— Незавершённый код (33 %): Самая распространённая проблема. Модели часто генерируют каркасы функций или классов, но опускают ключевую бизнес-логику, оставляя заглушки (// TODO: Implement later) или обрывая код на полуслове.

— «Галлюцинации» кода (24 %): Это прямое следствие вероятностной природы LLM. Они могут уверенно сгенерировать вызовы несуществующих библиотек, методов или эндпоинтов API, что приводит к трудноуловимым ошибкам на этапе сборки или выполнения.

— Уязвимости безопасности (19 %): Критическая проблема. В большинстве случаев ИИ не выполняет санацию пользовательского ввода, открывая прямые векторы для атак вроде SQL-инъекций и Cross-Site Scripting (XSS). Также встречаются случаи генерации кода с захардкоженными секретами (ключами API, паролями).

— Использование устаревшего кода (11 %): Модели, обученные на срезах данных из прошлого, часто предлагают использовать deprecated функции и уязвимые версии библиотек, что создаёт риски и усложняет поддержку.

— Скрытые логические ошибки (5 %): Коварный тип дефекта. Код синтаксически корректен и проходит линтеры, но содержит баги в логике, которые проявляются только в edge-кейсах и могут оставаться незамеченными на ревью.

Отчёт измерил влияние ИИ-генерации на два фундаментальных параметра здоровья кодовой базы:

🔸 Цикломатическая сложность: Эта метрика измеряет количество линейно независимых путей в исходном коде. ИИ-код в среднем демонстрирует в 2,1 раза более высокую сложность. На практике это означает, что код становится экспоненциально труднее для понимания, тестирования и безопасной модификации. Поддержка такого кода требует значительно больше времени и ресурсов.

🔸 Технический долг: Скорость накопления техдолга при активном использовании ИИ-инструментов увеличивается на 18 %. Каждый фрагмент незавершённого, уязвимого или избыточно сложного кода — это инкремент техдолга. Краткосрочное ускорение оборачивается долгосрочным замедлением всей команды из-за необходимости постоянного рефакторинга и исправления ошибок.

Игнорировать ИИ-инструменты невозможно (и не следует), но и слепо доверять им — прямой путь к деградации продукта (и собственной инженерной заодно). Отчёт Qodo ещё подталкивает к выработке новой инженерной культуры:

— Принцип «нулевого доверия»: Любой код, сгенерированный ИИ, должен по умолчанию считаться небезопасным и некачественным. Он обязан проходить тот же, если не более строгий, процесс ревью, что и код, написанный джуниор-разработчиком.

— Автоматизация контроля: Необходимо внедрять в CI/CD-пайплайны автоматические сканеры безопасности (SAST), анализаторы качества кода и инструменты для проверки зависимостей. Эти инструменты должны стать обязательным «гейтом» перед мержем.

— Развитие компетенций ревью: Роль инженера смещается от написания кода к его аудиту. Необходимо развивать навыки быстрого выявления типичных «ИИ-дефектов»: галлюцинаций, пропущенной валидации, избыточной сложности.

В конечном счёте, исследование в очередной раз показывает, что ИИ — это множитель. Он усиливает как продуктивность инженера, так и его ошибки, если контроль ослаблен.

Подписывайтесь на Telegram Нейрократия.