Тестируй это. Как QA-профи создали продукт для самих себя и рынка

Привет! В этой статье хочу рассказать историю, как мы вывели на рынок сложный b2b-продукт и построили процессы в команде.

Test IT — это молодая российская компания, созданная QA-профессионалами в мае 2019 года. Наш основной продукт — система управления тестированием Test IT. Идеологом и основателем компании является Евгений Хафизов, вместе с сооснователями Михаилом Рябовым и Денисом Аксёновым. Михаил стал первым Product Owner в компании, а Денис — CTO. Основанный ими небольшой, но гордый стартап за год выстроил процессы и начал захватывать российский рынок.

Я занимаюсь тестированием программных продуктов в том или ином виде более 10-ти лет, работал в Tinkoff-банке, Kaspersky Lab. Я начинал свой путь от рядового тестировщика на 2-м курсе университета, разрабатывал автотесты, занимался нагрузочным тестированием, затем перешел на руководящие позиции.

Идея создать собственный проект пришла, когда я работал QA-менеджером. Я каждый раз сталкивался с одними и теми же проблемами: как правильно организовать процесс тестирования и как вести тестовую документацию. Не буду вдаваться в технические подробности, но для понимания опишу, как происходит работа в QA-отделе.

Треть загрузки инженера по тестированию занимает описание тестовых сценариев по продуктовым требованиям, анализ и изменение тестовой модели в системе управления тестированием. Если новые продуктовые требования добавляют функциональность и изменяют логику, то необходимо добавить новые тесты, обновить старые — это занимает колоссальное количество времени. В автоматизированном тестировании тоже свои боли: треть времени разработчиков автотестов уходит на анализ падения автотестов, вместо того чтобы разрабатывать новые тесты или поддерживать старые. Вы наверняка уже заскучали, читая об этом — представьте, каково тестировщикам =)

Будучи руководителем, мне требовалось объединить разнонаправленные команды тестировщиков, чтобы задавать общий вектор работы и объединять лучшие практики. Я честно перелопатил все существующие на тот момент инструменты и загрустил: почему для важнейшей части процесса разработки — тестирования — не существует красивых и удобных инструментов? Ничего, что удовлетворяло бы этим двум требованиям, не нашлось.

Рынок начал ощущать особую потребность в обеспечении качества продуктов в 2020-м году с началом пандемии, когда стало понятно, что без цифровых продуктов никуда, и вся жизнь буквально пронизана цифровыми сервисами и софтом. Возросла потребность в качественных продуктах, а отсутствие качества стало неприемлемым даже для совсем новых проектов.

• Удачный путь к созданию продукта — набрать экспертизы, работая в отрасли, найти нерешенную проблему и создать решение для улучшения собственной (и чужой) жизни. Джейсон Фрайд из 37 Signals называл это «scratch your own itch».

• Время выхода продукта на рынок важнее, чем его фичи. Клиенты должны сами осознавать ценность продукта, потому что стартапу будет очень дорого заниматься их обучением. Хорошо, если обстоятельства и конкуренты прогревают рынок вместе с вами.

Я не мог развивать продукт в одиночку, потому что на старте был загружен работой по найму. Мне нужна была хотя бы небольшая команда и капитал на развитие. Я пошел к венчурным фондам, но не смог объяснить им ценность продукта — они предпочитали вкладываться во что-то более понятное типа медтеха или интернет-агрегатора.

«У вас 40 конкурентов?» — удивлялись они, и денег не давали. Кроме того, в России зачастую предлагают грабительские условия 50/50 — абсолютно несправедливо в условиях IT.

В итоге мне повезло, после долгих поисков я нашел инвестора, — Дамира Шавалеева, который поверил в мою идею и выделил средства на команду и реализацию. Мы с ним знакомы с 2000х годов. У него тогда был личный проект - профильная школа с инновационными методиками обучения. Я был одним из первых выпускников.

От стадии возмущения я перешел к активному анализу рынка и формированию важнейших требований:

• Комфортная работа пользователей и приятный удобный интерфейс, несмотря на то, что это b2b, где все очень серьезно;
• Наличие встроенных инструментов для экономии времени тестировщиков: общие шаги, работа с изображениями, работа с автотестами;
• Организация работы ручных и автотестеров в едином пространстве (не в сторонней CI-системе) Важно, чтобы все члены команды ценили и уважали труд друг друга. Ручным тестировщикам это поможет научиться автоматизировать, а автотестерам — видеть продукт целиком.

Третий пункт поясню: обычно разработчики автотестов плохо знают продукт и не разбираются в нем, практически не участвуют в регрессионном тестировании (в отличие от тест-менеджеров и ручных тестировщиков). Их задача — взять тест-кейс и автоматизировать его шаги, а в будущем как-то его поддерживать и анализировать. Продукт целиком их мало волнует, их беспокоит лишь то, чтобы автотесты не падали.

Решив эти три задачи, можно добиться реальных успехов. На сегодняшний день реализовано около половины от задуманного, но нашей системой с удовольствием пользуются уже тысячи тестировщиков.

Главные проблемы рынка сейчас — это скорость выпуска продукта и его обновлений и удовлетворенность клиентов качеством продукта. Если отойти от конечных потребителей — тестировщиков, и сконцентрироваться на бизнес-клиентах — IT-компаниях, IT-департаментах в крупных корпорациях, можно сказать, что мы помогаем управлять рисками, управлять качеством продуктов и сократить издержки на цикл разработки и тестирования версий.

Если раньше отличие качественного продукта от некачественного проходило в какой-то критической массе багов, то сегодня баги недопустимы в принципе. Если продуктом неудобно пользоваться, если пользовательский сценарий недостаточно продуман, то это уже причина рассматривать конкурента, который лучше поработал над интерфейсом, над мелочами.

• Для b2b стартапа до рабочего MVP обращаться к фондам за деньгами рискованно — потратите больше времени на питчинг, чем на продуктивную работу. Поэтому идите за пре-сидом к FFF: Friends, Family & Fools. Для нас решением стали знакомые бизнес-ангелы.

• Мы все мечтаем о голубых океанах, но если у вас нет конкурентов, то скорее всего, рынка у вас тоже нет. Надеяться на то, что небольшому стартапу хватит сил, чтобы его сформировать, наивно. Стоит заходить в рынки, где не существует явного лидера рынка, но при этом есть множество небольших конкурентов. В этом случае шанс заполучить свой кусок пирога выше.

Мы разрабатывали MVP год, и в мае 2019 года выпустили первый релиз, тогда же зарегистрировали компанию. Два релиза подряд у нас не было коммерческих клиентов. Многие пилотировали, но не покупали. Мы были готовы на самые невыгодные для нас условия, лишь бы продуктом пользовались и давали обратную связь.

В то время я преподавал на курсах по тестированию в онлайн-школе GeekGym, и предложил бесплатно попробовать новую TMS своим студентам. Среди них был QA-менеджер из Solit Clouds, чья команда стала нашим первым боевым клиентом — около 100 тестировщиков. Следующий свой релиз мы посвятили доработкам по отзывам.

Есть такое понятие в IT — прожаренный продукт, ребята из Solit Clouds дали настолько крутые отзывы, что помогли его прожарить. Мы выпустили обновление и многие из тех, кто ранее использовал бета-версию, купили лицензии. Первым нашим крупным клиентом стал Точка банк, и мы этим очень гордимся.

В то время каждый из нас работал за троих, посвящая любую минуту работе. Если бы мне тогда предложили пойти в кино, погулять или поработать — я бы выбрал работу.

Путь от старта проекта до первого клиента мы прошли за 2 года кропотливой работы. Сегодня Test IT — это интенсивно развивающаяся компания с выстроенными процессами. У нас более 100 клиентов и десятки сотрудников.

• Ранние последователи (early adopters) могут помочь вам доработать решение, но именно первые платящие клиенты конкретно укажут вам на то, за что они готовы платить деньги. Неважно, как вы достигнете понимания, за что клиенты готовы платить — будь это CusDev или JTBD, или экспертиза рынка — постарайтесь начать продажи как можно раньше. Мы постарались сократить время до выпуска на рынок (time to market), и сейчас также стараемся поддерживать высокую скорость выпуска обновлений.

Основная проблема, с которой мы столкнулись при выходе на рынок — недостаточно высокая культура тестирования. Многие компании набирают джуниор-тестировщиков без опыта, потому что не могут позволить себе опытных специалистов. А опытные специалисты работают в крупных компаниях, в банках, и не планируют оттуда уходить. Потребность в инструментах для тестирования возникает лишь на определенном уровне развития компании, с ростом QA-команды и усложнением задач.

Мы сталкивались с тем, что небольшие компании покупали 1-2 лицензии системы Test IT и в итоге не пользовались ей. Потому что для них это было равнозначно тому, как взять космический корабль, когда необходимо доехать в другой город. В России не так много компаний с высоким уровнем тестирования, поэтому мы понимаем, что рынок будет исчерпан быстро. Тем не менее мы готовы способствовать повышению этого уровня посредством участия в мероприятиях, в образовательных курсах, предоставляя нашу систему в качестве учебного инструмента. Мы хотим участвовать в формировании QA-сообщества высокого уровня, и делаем это.

У нас были те же проблемы, с которыми сталкивается любой стартап, — в первую очередь очень небольшой бюджет.

• Старались экономить на всем

На этапе старта и разработки кодовой базы я хотел попробовать фреймворк, описанный в книге «Как тестируют в Google», когда разработчики сами производят тестирование. Мы проработали в таком режиме несколько месяцев и убедились, что это плохая идея. Из-за отсутствия выделенного QA-инженера интеграционная сборка, которая деплоится на тестовое окружение, была постоянно разломана и не соответствовала критериям качества, описанным в стратегии тестирования Test IT. Разработчики быстро потеряли интерес к end-to-end тестированию и разработки автотестов.

Также первое время мы экономили на дизайне, и несмотря на то, что хотели разработать не похожую ни на кого систему управления тестированием, начали работать на стандартном UI-ките. У нас было целых 4 варианта пользовательского интерфейса, пока мы не остановились на самом оптимальном — который используется сейчас. Обе этих ошибки мы исправили с ростом компании.

• Показывали сырой продукт будущим клиентам

Также наша ошибка заключалась в том, что мы начали показывать потенциально заинтересованным сторонам сырой продукт с целью посоветоваться. Никогда так не делайте! Люди оценивают то, что видят, как конечный продукт, у них уже формируется какое-то мнение. В итоге мы потеряли время и клиентов.

• На первых порах просили очень низкую цену за лицензии

Это привело к тому, что люди покупали и не давали качественной обратной связи, потому что потраченная сумма для них не была важна. Сегодня потребители стремятся получать больше за меньшие деньги. Но следует адекватно оценивать ваши затраты на продукт и не занижать цену, иначе вы не получите качественных клиентов, способных давать обратную связь.

• Чтобы расти вместе с рынком, нужно прилагать усилия для взращивания и просвещения рынка. Будьте готовы вкладываться в образование пользователей, помогать клиентам проводить интересные мероприятия, создавать полезный контент. У нас на это уходит почти 30% времени продуктовой команды.
• Время кривых MVP с одной киллер-фичей прошло. Люди стали гораздо более привередливыми и к внешнему виду, и к пользовательскому опыту. Показывая прототип потенциальным клиентам, будьте готовы, что первые несколько раз вам откажут.
• Цена и ценность ассоциируются в головах покупателей, и пытаться скостить цену на решение до «почти бесплатной» имеет смысл для freemium-модели с ограниченной функциональностью, но не для полноценного продукта. Иначе клиенты могут пристрастно подойти к оценке решения.

Вначале в команде царил творческий хаос, сегодня, на мой взгляд, смогли грамотно выстроить процессы, чтобы работать эффективнее. Зачастую, когда стартап вступает в фазу бурного роста, не всегда удается удержаться на такой скорости из-за отсутствия упорядоченной системы. Дальше будет только лучше!

В ближайшем будущем мы планируем создание облачного решения, развитие текущего продукта в сторону расширения интеграции ручного и автоматизированного тестирования, геймификации, кастомизации отчетов. Кроме того, мы стремимся расширить пул баг-трекеров и таск-трекеров, помимо Jira, с которыми будет интегрирована система Test IT. Более далекие планы мы раскрывать не будем. Но уверяем, что такого QA мир еще не видел!

Верю, что по духу мы останемся стартапом, когда каждый болеет за продукт и готов выходить за рамки своей ответственности. Когда каждый разработчик может заняться анализом и привнести какие-то интересные идеи, а каждый инженер по тестированию может выступать в роли SCRUM-мастера, где генеральный директор может принять участие в регрессионном тестировании и быть открытым к диалогу со своей командой.

Я понимаю, что с ростом компании процессы усложняются, ответственность разграничивается. Тем не менее, уверен, что каждый из нас чувствует, что он не просто пишет код, а делает что-то большее. Часть нашей души есть в каждом продукте, который тестируется с помощью Test IT.