AI-тестировщик vs новые люди в штате. Что выгоднее при росте сценариев?
Перед выпуском продукта команда тратит 5–7 дней и около 200 часов работы QA на приёмочные проверки. Ручных сценариев уже больше 1 200, и их количество растёт.
Если за следующие полгода кейсов снова станет вдвое больше, нагрузка может вырасти до 400 часов на одну проверку. Увеличивать команду, тратить больше времени перед релизом или автоматизировать часть работы?
Я начал разрабатывать AI E2E Test, чтобы проверить третий вариант: сможет ли агент проходить пользовательские сценарии в браузере и собирать подтверждения результата.
Почему возникла идея
Сейчас в команде десять тестировщиков. На них приходится 1 242 ручных кейса и 256 автотестов.
За предыдущие полгода количество тестов выросло примерно вдвое. Если ручные сценарии продолжат расти в том же темпе, через полгода их может стать почти 2 500.
Что делает AI E2E Test
Идея проекта — использовать описанные тестовые сценарии как основу для проверки в браузере.
Агент получает сценарий, открывает продукт, проходит шаги и собирает подтверждения результата. Затем система проверяет отчёт и сохранённые материалы.
Что уже получилось
70% автоматизированных сценариев прошли успешно.
AI E2E Test берёт описания тестовых сценариев, выполняет проверки в браузере и собирает результаты. Автоматизированные сценарии обновляются при изменениях.
Система также оставляет результат на дополнительную проверку, если автоматического подтверждения недостаточно.
Сколько времени может освободиться
В первых запусках 70% автоматизированных сценариев прошли успешно. Теперь важно измерить, сколько времени они экономят с учётом подготовки, обновления и проверки результатов.
Для оценки я рассмотрел три варианта: AI надёжно выполняет 30%, 50% или 70% ручной работы по времени. При прогнозной нагрузке 400 часов QA на одну проверку это выглядит так:
Сколько это в деньгах
При двух проверках в месяц и расчётной стоимости часа QA 750–1 000 ₽ потенциальная стоимость высвобожденного времени составит:
Например, если агент надёжно выполнит половину работы по времени:
200 часов × 24 проверки × 750–1 000 ₽ = 3,6–4,8 млн ₽ в год.
Из этой суммы ещё нужно вычесть расходы на AI, сопровождение инструмента и проверку результатов человеком. Расчёт не означает, что эти деньги уже сэкономлены.
Что ещё может измениться
Помимо времени QA, хочу проверить влияние на весь путь задачи до релиза:
- Разработка: как быстро команда получает результат проверки после внесения изменений.
- Выкладка: сколько времени проходит от начала приёмочного тестирования до готовности релиза.
- Качество: сколько ошибок удаётся найти до выпуска и сколько обнаруживается после него.
- Поддержка тестов: сколько времени требуется на обновление сценариев при изменениях продукта.
Первые 70% успешных сценариев показывают результат автоматизации. Чтобы оценить влияние на разработку, выкладку и количество багов, нужны отдельные замеры.
Сколько времени у вашей команды занимает проверка перед релизом? Какую её часть вы готовы доверить AI? Пишите пообщаемся)