AI повсюду. Что учить тестировщику? Мой путь от «я ничего не понимаю» до работы с LLM
Точно не помню, когда про ChatGPT начали говорить буквально «из каждого утюга». Но спустя время, когда я сам познакомился с технологией, стал замечать, что появляются QA, которые уже активно с ней работают.
Я — Full-stack QA, и мне стало интересно, как научиться тестировать AI-приложения и применять LLM в своей работе на системном уровне.
Но была одна маленькая проблема — в моём проекте не было AI, и не было понятно, появится ли он вообще. А разбираться хотелось "здесь и сейчас".
Только вот с чего начать мне, как тестировщику? Что такое токены, веса, эмбеддинги, инференс? Зачем контекстное окно? Нужно ли становиться ML-инженером, чтобы с этим работать?
Готовых гайдов или понятной дорожной карты для себя найти не смог. Пришлось разбираться самому.
Погрузившись в море разрозненной информации (как мне тогда казалось), через некоторое время смог разобраться, как работают LLM и какие знания могут понадобиться тестировщикам для старта.
За это время я пришёл к простому выводу. Для старта работы с LLM, независимо от опыта в QA, достаточно разобраться в трёх вещах:
- как работают LLM;
- как применять AI в работе QA;
- как тестировать AI-продукты.
Ниже — список тем и источников, которые дали мне эту базу.
Тема 1 — Как работают LLM
Без понимания подобных концепций дальше будет тяжело понять всё остальное.
ИИ для самых маленьких: как работает LLM и ИИ-агент — буквально “золото нубов”. Та самая база в одном месте. С таймкодами и понятными примерами. Легко закрывает большинство вопросов тестировщика, который только начинает знакомство с AI.
Ключевые понятия LLM — простыми словами об LLM. Только текстом.
3Blue1Brown — How might LLMs store facts? — лучшие визуализации темы от легендарного 3Blue1Brown. Перевод в дубляже.
Руководство по промпт-инжинирингу — бесплатный справочник по созданию эффективных промптов с примерами и разбором популярных техник.
Небольшой совет: если важно экономить токены или уместить больше информации в контекстное окно, по возможности используйте английский язык. Для большинства современных LLM текст на английском языке обычно занимает меньше токенов, чем аналогичный текст на русском.
Тема 2 — Как применять AI в работе QA
О том, как использовать LLM и AI-инструменты в повседневной работе QA.
ChatGPT Prompt Engineering for Developers — небольшой курс, как правильно взаимодействовать с LLM в инженерных задачах.
Как кодинг-агенты используют инструменты, память и контекст репозитория, чтобы писать код лучше — перевод статьи об устройстве кодинг-агентов.
Anthropic Prompt Library — набор готовых инженерных промптов.
Тема 3 — Как тестировать AI-продукты
Материал поможет разобраться в тестировании AI-приложений и сделать первые шаги в AI QA.
Как тестировать AI-приложения — базовый курс, чтобы познакомиться с тем, как тестировать AI-приложения.
Как ухватить LLM за хвост: эффективные стратегии тестирования AI-моделей — про то, как тестировать LLM-приложения не только руками, а через автоматические проверки, метрики и кастомные оценки.
Тестирование LLM-приложений с DeepEval — практическое руководство по работе с современным инструментом тестирования LLM.
Если вы только начинаете — начните с первой темы. Даже 3–4 материала из списка помогут сформировать бэкграунд, на который будет проще опираться при дальнейшем изучении AI.
AI пока ещё не появился на вашем проекте? Это не повод откладывать знакомство с технологией. Когда такая задача появится, базовые знания помогут быстрее включиться в работу.
Если тема AI в тестировании вам тоже интересна, подписывайтесь на ModernQA в Telegram. Там я разбираюсь в LLM, AI QA, тестировании AI-приложений и кодинг-агентах, а также делаю обзоры современных AI-инструментов и делюсь практическими материалами. Всё это помогает быстрее разбираться в новых технологиях.