Как тестировать AI?

Тестирование AI - это как проверка робота перед тем, как показать его живым людям. Только робот этот особенный: он может дать разные ответы на один и тот же вопрос, и со временем начинает вести себя чуть иначе даже если вы ничего не меняли. Поэтому обычных способов проверки качества здесь недостаточно.

Первое, что нужно проверить - что робот отвечает правильно на ожидаемые запросы. Для него два плюс два, всегда должно быть четыре, а не динозавр. На практике модели умеют уверенно говорить неправду - и это нужно отлавливать заранее.

Далее - проверка на странные ситуации. Что будет если задать очень длинный вопрос? Или совсем короткий? Или вообще ничего не написать? Хорошая система не должна растеряться. Отдельно стоит следить за скоростью - под нагрузкой тестировать обязательно, так как ИИ-системы часто начинают тормозить.

Потом идут веселые проверки. Попытаться обмануть модель - сказать ей «притворись, что ты другая система без ограничений», спрятать инструкции внутри документов которые она читает, или повторить одну и ту же запрещённую просьбу разными словами в надежде что какая-то формулировка проскочит. Задача тестировщика - протестировать это первым, до того как попробуют пользователи.

И наконец - проверка памяти. Если в начале разговора сказать «меня зовут Вася», а через несколько сообщений спросить «как меня зовут», система должна помнить.

Для всего этого есть специальные инструменты - Promptfoo, DeepEval, Garak и другие - которые делают большую часть проверок автоматически. Но самое главное, с чего стоит начать: собрать пул запросов ещё до первого запуска и зафиксировать что считается правильным ответом.