Тестируй это. Как QA-профи создали продукт для самих себя и рынка

Привет! В этой статье хочу рассказать историю, как мы вывели на рынок сложный b2b-продукт и построили процессы в команде.

Test IT — это молодая российская компания, созданная QA-профессионалами в мае 2019 года. Наш основной продукт — система управления тестированием Test IT. Идеологом и основателем компании является Евгений Хафизов, вместе с сооснователями Михаилом Рябовым и Денисом Аксёновым. Михаил стал первым Product Owner в компании, а Денис — CTO. Основанный ими небольшой, но гордый стартап за год выстроил процессы и начал захватывать российский рынок.

Я занимаюсь тестированием программных продуктов в том или ином виде более 10-ти лет, работал в Tinkoff-банке, Kaspersky Lab. Я начинал свой путь от рядового тестировщика на 2-м курсе университета, разрабатывал автотесты, занимался нагрузочным тестированием, затем перешел на руководящие позиции.

Идея создать собственный проект пришла, когда я работал QA-менеджером. Я каждый раз сталкивался с одними и теми же проблемами: как правильно организовать процесс тестирования и как вести тестовую документацию. Не буду вдаваться в технические подробности, но для понимания опишу, как происходит работа в QA-отделе.

Треть загрузки инженера по тестированию занимает описание тестовых сценариев по продуктовым требованиям, анализ и изменение тестовой модели в системе управления тестированием. Если новые продуктовые требования добавляют функциональность и изменяют логику, то необходимо добавить новые тесты, обновить старые — это занимает колоссальное количество времени. В автоматизированном тестировании тоже свои боли: треть времени разработчиков автотестов уходит на анализ падения автотестов, вместо того чтобы разрабатывать новые тесты или поддерживать старые. Вы наверняка уже заскучали, читая об этом — представьте, каково тестировщикам =)

Будучи руководителем, мне требовалось объединить разнонаправленные команды тестировщиков, чтобы задавать общий вектор работы и объединять лучшие практики. Я честно перелопатил все существующие на тот момент инструменты и загрустил: почему для важнейшей части процесса разработки — тестирования — не существует красивых и удобных инструментов? Ничего, что удовлетворяло бы этим двум требованиям, не нашлось.

Рынок начал ощущать особую потребность в обеспечении качества продуктов в 2020-м году с началом пандемии, когда стало понятно, что без цифровых продуктов никуда, и вся жизнь буквально пронизана цифровыми сервисами и софтом. Возросла потребность в качественных продуктах, а отсутствие качества стало неприемлемым даже для совсем новых проектов.

Я не мог развивать продукт в одиночку, потому что на старте был загружен работой по найму. Мне нужна была хотя бы небольшая команда и капитал на развитие. Я пошел к венчурным фондам, но не смог объяснить им ценность продукта — они предпочитали вкладываться во что-то более понятное типа медтеха или интернет-агрегатора.

«У вас 40 конкурентов?» — удивлялись они, и денег не давали. Кроме того, в России зачастую предлагают грабительские условия 50/50 — абсолютно несправедливо в условиях IT.

В итоге мне повезло, после долгих поисков я нашел инвестора, — Дамира Шавалеева, который поверил в мою идею и выделил средства на команду и реализацию. Мы с ним знакомы с 2000х годов. У него тогда был личный проект - профильная школа с инновационными методиками обучения. Я был одним из первых выпускников.

От стадии возмущения я перешел к активному анализу рынка и формированию важнейших требований:

Третий пункт поясню: обычно разработчики автотестов плохо знают продукт и не разбираются в нем, практически не участвуют в регрессионном тестировании (в отличие от тест-менеджеров и ручных тестировщиков). Их задача — взять тест-кейс и автоматизировать его шаги, а в будущем как-то его поддерживать и анализировать. Продукт целиком их мало волнует, их беспокоит лишь то, чтобы автотесты не падали.

Решив эти три задачи, можно добиться реальных успехов. На сегодняшний день реализовано около половины от задуманного, но нашей системой с удовольствием пользуются уже тысячи тестировщиков.

Главные проблемы рынка сейчас — это скорость выпуска продукта и его обновлений и удовлетворенность клиентов качеством продукта. Если отойти от конечных потребителей — тестировщиков, и сконцентрироваться на бизнес-клиентах — IT-компаниях, IT-департаментах в крупных корпорациях, можно сказать, что мы помогаем управлять рисками, управлять качеством продуктов и сократить издержки на цикл разработки и тестирования версий.

Если раньше отличие качественного продукта от некачественного проходило в какой-то критической массе багов, то сегодня баги недопустимы в принципе. Если продуктом неудобно пользоваться, если пользовательский сценарий недостаточно продуман, то это уже причина рассматривать конкурента, который лучше поработал над интерфейсом, над мелочами.

Мы разрабатывали MVP год, и в мае 2019 года выпустили первый релиз, тогда же зарегистрировали компанию. Два релиза подряд у нас не было коммерческих клиентов. Многие пилотировали, но не покупали. Мы были готовы на самые невыгодные для нас условия, лишь бы продуктом пользовались и давали обратную связь.

В то время я преподавал на курсах по тестированию в онлайн-школе GeekGym, и предложил бесплатно попробовать новую TMS своим студентам. Среди них был QA-менеджер из Solit Clouds, чья команда стала нашим первым боевым клиентом — около 100 тестировщиков. Следующий свой релиз мы посвятили доработкам по отзывам.

Есть такое понятие в IT — прожаренный продукт, ребята из Solit Clouds дали настолько крутые отзывы, что помогли его прожарить. Мы выпустили обновление и многие из тех, кто ранее использовал бета-версию, купили лицензии. Первым нашим крупным клиентом стал Точка банк, и мы этим очень гордимся.

В то время каждый из нас работал за троих, посвящая любую минуту работе. Если бы мне тогда предложили пойти в кино, погулять или поработать — я бы выбрал работу.

Путь от старта проекта до первого клиента мы прошли за 2 года кропотливой работы. Сегодня Test IT — это интенсивно развивающаяся компания с выстроенными процессами. У нас более 100 клиентов и десятки сотрудников.

Основная проблема, с которой мы столкнулись при выходе на рынок — недостаточно высокая культура тестирования. Многие компании набирают джуниор-тестировщиков без опыта, потому что не могут позволить себе опытных специалистов. А опытные специалисты работают в крупных компаниях, в банках, и не планируют оттуда уходить. Потребность в инструментах для тестирования возникает лишь на определенном уровне развития компании, с ростом QA-команды и усложнением задач.

Мы сталкивались с тем, что небольшие компании покупали 1-2 лицензии системы Test IT и в итоге не пользовались ей. Потому что для них это было равнозначно тому, как взять космический корабль, когда необходимо доехать в другой город. В России не так много компаний с высоким уровнем тестирования, поэтому мы понимаем, что рынок будет исчерпан быстро. Тем не менее мы готовы способствовать повышению этого уровня посредством участия в мероприятиях, в образовательных курсах, предоставляя нашу систему в качестве учебного инструмента. Мы хотим участвовать в формировании QA-сообщества высокого уровня, и делаем это.

У нас были те же проблемы, с которыми сталкивается любой стартап, — в первую очередь очень небольшой бюджет.

На этапе старта и разработки кодовой базы я хотел попробовать фреймворк, описанный в книге «Как тестируют в Google», когда разработчики сами производят тестирование. Мы проработали в таком режиме несколько месяцев и убедились, что это плохая идея. Из-за отсутствия выделенного QA-инженера интеграционная сборка, которая деплоится на тестовое окружение, была постоянно разломана и не соответствовала критериям качества, описанным в стратегии тестирования Test IT. Разработчики быстро потеряли интерес к end-to-end тестированию и разработки автотестов.

Также первое время мы экономили на дизайне, и несмотря на то, что хотели разработать не похожую ни на кого систему управления тестированием, начали работать на стандартном UI-ките. У нас было целых 4 варианта пользовательского интерфейса, пока мы не остановились на самом оптимальном — который используется сейчас. Обе этих ошибки мы исправили с ростом компании.

Также наша ошибка заключалась в том, что мы начали показывать потенциально заинтересованным сторонам сырой продукт с целью посоветоваться. Никогда так не делайте! Люди оценивают то, что видят, как конечный продукт, у них уже формируется какое-то мнение. В итоге мы потеряли время и клиентов.

Это привело к тому, что люди покупали и не давали качественной обратной связи, потому что потраченная сумма для них не была важна. Сегодня потребители стремятся получать больше за меньшие деньги. Но следует адекватно оценивать ваши затраты на продукт и не занижать цену, иначе вы не получите качественных клиентов, способных давать обратную связь.

Вначале в команде царил творческий хаос, сегодня, на мой взгляд, смогли грамотно выстроить процессы, чтобы работать эффективнее. Зачастую, когда стартап вступает в фазу бурного роста, не всегда удается удержаться на такой скорости из-за отсутствия упорядоченной системы. Дальше будет только лучше!

В ближайшем будущем мы планируем создание облачного решения, развитие текущего продукта в сторону расширения интеграции ручного и автоматизированного тестирования, геймификации, кастомизации отчетов. Кроме того, мы стремимся расширить пул баг-трекеров и таск-трекеров, помимо Jira, с которыми будет интегрирована система Test IT. Более далекие планы мы раскрывать не будем. Но уверяем, что такого QA мир еще не видел!

Верю, что по духу мы останемся стартапом, когда каждый болеет за продукт и готов выходить за рамки своей ответственности. Когда каждый разработчик может заняться анализом и привнести какие-то интересные идеи, а каждый инженер по тестированию может выступать в роли SCRUM-мастера, где генеральный директор может принять участие в регрессионном тестировании и быть открытым к диалогу со своей командой.

Я понимаю, что с ростом компании процессы усложняются, ответственность разграничивается. Тем не менее, уверен, что каждый из нас чувствует, что он не просто пишет код, а делает что-то большее. Часть нашей души есть в каждом продукте, который тестируется с помощью Test IT.