Про автоматизацию REST API с помощью Postman, Newman и Jenkins

Всем привет!

В этой статье хотел бы поделиться опытом автоматизации REST API с помощью таких инструментов как Postman, Newman и Jenkins.

Postman — популярный клиент API, который позволяет тестировать, делиться, создавать, сотрудничать и документировать процесс разработки API внутри команды. Немаловажной функцией Postman является возможность писать и выполнять тесты на основе JavaScript для API. Postman предлагает встроенные инструменты для интеграции API для некоторых инструментов непрерывной интеграции (CI), например Jenkins.

Для начала необходимо создать коллекцию, наполнив ее запросами. После того, как коллекция будет готова, можно приступать к написанию автотестов. Есть два способа добавления кода JavaScript:

Я пользуюсь вкладкой Tests. После добавления кода во вкладку он будет запущен при выполнении запроса. Результат запуска будет доступен на вкладке Test Results ответа от сервера. В тестовых скриптах можно использовать динамические переменные. Добавлять проверки для данных из ответа и передавать полученные значения между запросами.

Очень удобно, что Postman предлагает готовые куски кода (code snippets) для стандартных задач, которые можно отредактировать под свои нужды для экономии времени. Тем самым этот вид автоматизации возможно осилить и тому, кто знает только основы JavaScript.

Первый простой автотест — это проверка того, что запрос прошел успешно и мы получили status code 200 (или любой другой код, который мы ожидаем). Удобнее всего включить этот тест на уровне коллекции, чтобы все запросы под ним наследовали эту проверку:

Следующий пример теста — это проверка схемы json. Почему требуется проверка схемы JSON? Потому что:

Таким образом, мы имеем уже две автоматизированные проверки REST API. Не буду утомлять примерами автотестов, их можно найти и изучить в документации - https://learning.postman.com/docs/writing-scripts/test-scripts/ , лучше сразу перейдем к самому интересному, а именно дальнейшей интеграции нашей коллекции с Jenkins.

Первый вопрос, который возникает – это как связать Postman и Jenkins. Здесь нужно использовать CLI (command-line interface). Для того, чтобы коллекцию Postman разложить на язык командой строки используется Newman – приложение, которое позволяет запускать и тестировать коллекцию Postman непосредственно из командной строки.

Приведу упрощенный список шагов, как нужно дальше действовать:

1. Установите Jenkins локально и запустите его. Для получения более подробной информации обратитесь к документации Jenkins на Jenkins.io

2. Установите Node.js и Newman в Jenkins:

3. Выбрать "Сохранить". Подробные инструкции можно найти здесь

4. Убедитесь, что npm (менеджер пакетов для JavaScript) также установлен , введя следующие команды в командной строке:

5. Откройте консоль и установите сам Newman с помощью команды:

6. Сохраните свою коллекцию тестов, и тут есть два варианта - мы можем сгенерировать URL для тестов (share) или сохранить файлом (export).

7. Запустите тесты в консоли с помощью следующей команды:

При использовании ссылки:

При использовании файла используйте команду с указанием каталога файла коллекции:

После запуска тесты прогоняются в консоли и выводится результат:

Далее можно исполнять Newman из Jenkins после каждого коммита, чтобы тестировать образ на корректность ответов.

Желательно подготовить шаблоны в postman — вынести адрес хоста и другие изменяющиеся параметры запроса — в переменные и передать их из credentials‑плагина в Jenkins.

8. Конфигурируем задачи — добавляем shell-команду, а внутри нее вызов Newman.После этого Jenkins будет прогонять тесты. Можно настроить нужную частоту (в окне сборки -> Configure -> build Triggers -> build periodically) и Jenkins будет сообщать была ли сборка успешной или неудачной.

Для других членов команды можно настроить рассылку информации о последних сборках и их статусе по электронной почте. Это позволяет активно отслеживать свои сборки API вместе с другими компонентами API. Можно использовать множество других конфигураций, чтобы сделать коллекцию более динамичной.

В заключение хотелось бы привести за и против использования такого вида автоматизации.

Начну с преимуществ: Postman интуитивно-понятен и простой в использовании, не требует какой-то сложной настройки, поддерживает разные API (REST, SOAP, GraphQL), легко интегрируется в CI/CD с помощью рассмотренного Newman. Newman также очень простой в использовании, идеально подойдет для тех, кто часто использует Postman и хочет немного большего с минимальными затратами по времени.Данные инструменты очень выручат, если есть желание добавить автоматизацию в тестирование, подойдут на начальных этапах.

Но и хотелось бы отменить несколько недостатков такой интеграции, а именно полного построения автоматизированных тестов для больших проектов, которые имеют большое количество REST-сервисов. Из-за отсутствия возможности переиспользовать код, написание автотестов может превратиться в копипаст, поддерживать такие тесты будет сложно (например, когда количество сценариев может переваливать за 1000).Также этот подход не подойдет, если в системе CI исполняется много задач (собирается билд, прогоняются автотесты, внутри есть зависимости, деплоится билд, поднимается на каком-то окружении). В таком случае нужно увеличивать количество машин, на которых прогоняются автотесты, и каждую настраивать с нуля, ничего не забыв при этом.