Как проверить качество digital-продукта: инструменты, метрики и стоимость обслуживания

По данным Statista, количество приложений на базе Android на конец третьего квартала 2020 года достигло 2,87 млн, на базе iOS — 1,96 млн. Но насколько качественны эти приложения? Евгений Лобанов, исполнительный директор AGIMA, собрал полезные подходы и инструменты, которые помогут владельцам продуктов и разработчикам ответить на этот вопрос.

Для начала определимся с тем, что такое качество. Согласно стандарту ISO, качество — совокупность свойств и характеристик продукции или услуги, которые придают им способность удовлетворять обусловленные или предполагаемые потребности потребителя. То есть качество можно измерить объективными и субъективными метриками.

Например, представим, что у вас есть приложение в ecommerce-сегменте, и его используют тысячи пользователей ежедневно. Может случится так, что приложение соответствует требованиям контролирующих органов, но его цвет и интерфейс не нравится конкретному пользователю. Или приложение сверстано по стандартам всемирной организации W3C и проходит валидацию, но пользователь путается в навигации по интерфейсу, поэтому тратит на решение своих задач втрое больше времени, чем мог бы.

Понятие «качество» учитывает также стоимость обслуживания/поддержки приложения, улучшения его функциональности и другие технические аспекты развития.

Контроль качества — это периодическая проверка материалов и процессов при изготовлении продукта. Инспекция качества — непрерывное наблюдение и проверка для полного соответствия регламентам и стандартам продукции. Контроль и инспекция качества помогают быстрее монетизировать продукт, поднять лояльность аудитории и сэкономить на стоимости развития.

Контроль качества можно разделить на две части — технический надзор и продуктовый (бизнес) надзор.

Оценка качества бывает субъективной (ее дает пользователь или эксперт) и объективной (стандарт качества, применяемого на проекте или в компании). Для того чтобы дать объективную оценку качества приложения, нужно описать процессы сбора метрик.

Мы отделяем процедуры инспекции качества приложений от инспекции качества самого продукта. Оба направления инспекции необходимо применять при разработке любого проекта.

Инструментами технического надзора могут выступать чек-листы, код-ревью, юнит-тесты и многое другое. Инструменты бизнес-надзора можно разделить на количественные (например, построение конверсионных воронок по целевым действиям пользователя) и качественные (например, качественные исследования: глубинные интервью, окулография (eye tracking), качественные опросы и т.д.).

Инспекция качества — это не только тестирование

Чтобы исключить ошибки при создании ИТ-решений, разработчики сервисов проводят инспекцию качества. Она включает в себя функциональное, регрессионное, нагрузочное тестирование, а также тестирование на уязвимости.

Функциональное тестирование должно быть позадачным, то есть каждая функциональность (например, авторизация в личном кабинете или восстановления пароля) должна тестироваться отдельно.

Для каждой сборки приложения, которая готовится к выпуску в промышленную среду, нужно проводить регрессионное тестирование.

Но есть и неочевидные нюансы процедуры надзора и инспекции. Процедура технической инспекции качества веб- или мобильного приложения должна включать:

1. pagespeed или аналоги (желательно минимум два инструмента);

2. нагрузочное тестирование приложения;

3. статический анализ кода приложения;

4. pen-тестирование (проверка на уязвимости).

Метрику легко измерить показателем аптайма, как физических серверов, так и функциональной бесперебойности по определенной сетке автотестов в продуктивной среде.

По мере необходимости список можно дополнять инструментами и метриками. Например, инспекцией по полноте и срокам доставки в промышленную эксплуатацию тех или иных новых «фич».

Инспекция качества продукта должна включать:

Метрики продуктовой инспекции тоже можно дополнить. Например, хорошая практика при использовании продуктовой инспекции качества — сделать релиз новой функциональности на маленькую часть аудитории и провести сплит-тест.

Обеспечение качества — часть менеджмента качества, направленная на создание уверенности в том, что требования к качеству будут выполнены.

На первых этапах планирования разработки диджитал-продукта нужно определиться с ролями, которые будут выполнять надзор и нести ответственность за свою часть менеджмента качества:

На что обратить внимание владельцу продукта или бизнеса при работе с подрядчиками?

Самая критичная ошибка компании — не вовлекаться в процесс разработки продукта. Такой подход приводит к срывам запуска из-за неудовлетворительных показателей качества.

Если компания делегирует разработку подрядчикам, лучше продублировать слои инспекции качества: убедиться, что все три типа надзора закрыты со стороны подрядчика конкретными специалистами, а также назначить и определить зоны ответственности по менеджменту качества продукта внутри.

При работе с подрядчиками используйте дополнительные меры контроля качества в своей команде:

Как правильно выстроить процесс контроля и инспекции качества в функциональных и продуктовых командах?

Настройка процесса и сам процесс инспекции и контроля качества не зависят от типа команды, которая занимается разработкой продукта. В первую очередь, они зависят от бизнес-модели продукта и методологии управления проектом.

Однако тип команды влияет на некоторые нюансы в сути процесса. Например, есть более пяти типов продуктовых команд в зависимости от цели компании: одни ориентируются на пользовательские метрики, другие на дизайн (основное внимание уделяется wow-составляющей продукта), третьи на функции и т.д.

Работа функциональной команды должна содержать следующие этапы:

Работа продуктовой команды включает те же этапы. При этом учитывается кроссфункциональность специалистов, количественные и качественные замеры необходимых метрик в зависимости от того, на что на что ориентирована продуктовая команда.

Чем сложнее процесс инспекции и контроля качества, тем дороже его внедрить в процессы разработки продукта.

Стоимость технической инспекции составляет от 30 до 50% стоимости всей разработки.

При внедрении продуктовой инспекции рекомендуем измерять эффективность всех изменений и своевременно корректировать свои затраты. Стоимость такой инспекции зависит от типа продукта и многих других факторов. Мы тратим на инспекцию качества на постоянно растущих проектах примерно 750 тыс. руб. в месяц без учёта стоимости времени команды проекта. При этом статистически отток денег за 2018 и 2019 год составил 340 млн руб. После внедрения процедур инспекции качества значение оттока относительно всего годового оборота уменьшилось на 12%.

Процедуры контроля качества, техническая и продуктовая инспекции гарантируют успешность любого digital-продукта. Замеряйте стоимость инспекции, эффективность от введенных изменений и выпускайте качественные digital-продукты.