Арсенал современного тестировщика

Меня зовут Андрей Морозов, компания Firecode. У нас более более 20 тестировщиков, которые работают над проектами российских корпораций и делают этот мир чуточку лучше.

Сегодня я расскажу об инструментах и железе наших тестировщиков, а также раскрою нюансы и секреты работы, будет интересно, не отключайтесь.

Для любого тестировщика, особенно для начинающего, самым главным инструментом в работе является мозг и глаза, и очень хорошо, чтобы всё это работало синхронно. А если без сарказма, то самое важное в работе тестировщика внимательность и здравый смысл. Всё остальное это инструменты-помощники, которые сделают работу эффективнее и удобнее.

С чего начинается любое тестирование? Помимо перечня, указанного в спецификации к проекту, нужно проверить приложение по стандартным характеристикам. У каждого опытного тестировщика есть свой список, который он применяет в зависимости от задачи, но у новичков не всегда есть такие списки, и высока вероятность, что специалист что-то пропустит.

В помощь вам придет сервис - https://teamsuccess.io/UX , на котором представлены готовые чек-листы. Также есть неплохие тесты, которые разбиты на категории. Многая информация представлена на английском, но переводчик легко вам поможет.

Почти всегда, при баг-тесте, надо прикладывать визуальное описание бага, в большинстве случаев достаточно сделать скрин экрана, но бывают случаи, когда необходимо снять видео проблемы. В случае со скринами тестировщику надо иметь возможность быстро и удобно работать со скриншотом, а также иметь возможность добавить на скриншот свои комментарии. Многие тестировщики пользуются стандартными средствами, например, в Windows — это инструмент “Ножницы”. Это простой, но удобный инструмент, он удобен, когда нужно вставить скрин методом копирования, без сохранения в файл. Если вам нужно сделать скриншот с загрузкой в облако, то отлично подойдет Techsmith или Getgreenshot. В случае с видео мы используем Monosnap — это отличный и удобный помощник в повседневной работе.

В основе любого тестирования лежат данные, с помощью которых необходимо проверять работу функционала системы. Чтобы данные были “живыми” и разнородными рекомендуем использовать готовые массивы данных, которые можно легко применять для тестирования:

Мы используем:

Генератор изображений http://placeimg.com/

Генератор ИНН, ОГРН, КПП, СНИЛС http://mellarius.ru/random-inn

Генераторы временных почтовых ящиков https://temp-mail.org/ru/

Генератор личности https://www.fakenamegenerator.com/advanced.php

Генераторы текста и строк https://online-generators.ru/text

Также есть специализированные сервисы, для профессионального генерирования тестовых данных:

Профессиональные сервисы обладают более богатым функционалам, например генерированием SQL-запросов, а также созданием скриптов для тестирования XSS. Отдельного внимания заслуживает сервис bugmagnet, который работает как плагин Chrome и Firefox, который может быстро вставлять нужную информацию в поля форм и т.п.

Для классической проверки HTML+CSS используют валидатор стандарта W3, его все знают, и он отлично работает. Сервис дает подробные рекомендации по исправлению ошибок и оптимизации кода. На основе этих стандартов работают поисковые роботы Google, но не все рекомендации W3 так сильно важны. Поэтому всегда думайте о качестве своего приложения, если требуемые изменения повлияют на работоспособность и функциональность приложения, то не стоит их выполнять.

Второй из классических инструментов по оптимизации HTML+CSS является сервис от Google, этот инструмент позволяет получить рекомендации по оптимизации приложения для его более быстрой работы.

При тестировании веб или мобайл приложений вы постоянно будете сталкиваться с проблемой совместимости, эта проблема будет проявляться с разными версиями браузеров и совместимости на разных платформах.

На любом компьютере наших тестировщиков установлены все последние версии браузеров, а для тестирования более старых браузеров мы используем эмуляторы. В случае, если надо протестировать сайт в разных версиях IE мы используем виртуальные машины Mircosoft, которые позволяют поднимать любые версии IE. Для работы с другими браузерами пользуемся сервисом Saucelabs, где можно выбрать любую версию браузера и провести тестирование. В случае тестирования на мобильных устройствах нам на помощь приходит сервис Browserstack. Также мы используем очень популярный сервис Xamarin Test Cloud, это профессиональный сервис, который поддерживает более 2500 устройств на Android и iOS. На данном сервисе очень богатый функционал связанный с тестированием, а именно: создание скринов, удаленная отладка и т.п. Сервис отлично подходит для тестирования кросс-платформенных приложений.

Сервисы очень помогают в тестировании, но бывают отличия в работе на реальных устройствах, поэтому у нас в компании создан парк устройств для тестирования, в который входят мобильные устройства (более 20 устройств на Android и более 15 моделей на IOS), также в парке имеются различные ноутбуки, планшеты и умные устройства. Парком устройств может пользоваться любой тестировщик.

Часто бывает, что нам необходимо выполнить тестирование на Xcode, для этого у наших тестировщиков есть отдельные машины на macOS, так как ни один эмулятор на Windows не может нормально работать.

Вообще это отдельная большая тема, и полноценно тестировать безопасность могут только специалисты по безопасности, но базовые вещи вполне может проверять грамотный тестировщик. Для этого он должен хорошо владеть SQL, XSS, REST, разбираться в протоколах и API.

Для работы с XSS есть плагин Firefox, который можно использовать для проверки безопасности. Для тестирования на инъекции SQL можно использовать сканер Pentest а также Ptsecurity. В большинстве случаев такие сервисы платные, но безопасность это очень важная вещь.

Также есть очень мощный плагин для Chrome, с его помощью можно изменять HTML, cookies, работать с JS и изображениями, для этого не надо лезть в настройки браузера, а делать всё быстро в интерактивном виде

Мы уже подошли к самой интересной теме, это написание своих тестов. Первым делом составляем план тестирования в виде roadmap, далее можно подключать сервисы Leantesting, HP QC, MS Test Manager, Test Rail, с помощью этих сервисов можно проходить тесты или следить за результатами прохождения.

Для создания красивых карт тестирования мы используем сервис https://coggle.it, с помощью него можно быстро делать понятные и функциональные карты тестирования. Классы эквивалентности, границы и прочие сущности можно выделять отдельными блоками на карте.

Все современные веб и мобайл приложения пронизаны API, благодаря которому приложения очень хорошо масштабируются и функционируют. Чтобы грамотно протестировать API существуют различные сервисы, о которых я вам сейчас расскажу.

SoapUI - это консольный тестировщик, с помощью которого легко протестировать API REST и SOAP, а также Web-сервисы. Существуют как платные версии, так и бесплатные.

Postman - отличный инструмент для тестирования API, может работать как расширение Google Chrome. Стоимость использования $12 в месяц. Это один из самых популярных инструментов, его хороший аналог- Insomnia REST Client. Поэтому кому надоел Postman, может попробовать Insomnia REST Client.

Katalon Studio - это бесплатный инструмент автоматизированного тестирования UI, API. Katalon поддерживает запросы SOAP и RESTful с различными типами команд.

Redmine и Jira являются самыми популярными системами для управления тестированием. Для правильного организация тестирования необходим тюнинг этих систем, мы используем следующие инструменты:

- для Readmine мы используем - плагин;

- для Jira мы используем - плагин

Существуют и другие причины, которые делают процесс тестирования более эффективным, так что не забывайте смотреть новые плагины для Redmine и Jira.