Баг-трекер, геймификация и сильное комьюнити: как 36 тысяч участников VK Testers охотятся за багами

Привет! Меня зовут Мария Захарова, я возглавляю команду VK Testers — программы бета-тестирования ВКонтакте. Сегодня ей исполняется пять лет. В честь нашего праздника (а ещё Дня тестировщика) расскажу, как появилась программа и какая она сейчас. Также вас ждёт бонус: в статье можно узнать, как попасть в ряды VK Testers.

Ровно 74 года назад был задокументирован первый баг-репорт. Он связан с именем талантливой американской учёной Грейс Хоппер.

В 1947 году она принимала участие в разработке Mark II — одного из первых программируемых компьютеров. Однажды в реле застрял мотылёк, что блокировало передачу сигнала. Когда коллеги Грейс обнаружили насекомое, она произнесла легендарное слово bug, что переводится как «жук». Позже мотылька извлекли, вклеили в технический дневник и подписали: First actual case of bug being found — «Первый случай в практике, когда был обнаружен баг». А само слово стало термином, который обозначает компьютерную ошибку.

Если 74 года назад всё началось с мотылька, то наша история начинается с конкурса по тестированию VK Testing Challenge.

В 2016 году ВКонтакте активно запускала новые продукты и представляла релизы. При этом отдел тестирования состоял из шести человек — очередь на проверку становилась всё больше и в какой-то момент достигла нескольких месяцев. Чтобы быстро масштабировать мощности, мы открыли конкурс и создали собственный баг-трекер. Участники заводили туда отчёты по десктопному мессенджеру ВКонтакте.

Эксперимент оказался успешным: мы получили более 20 000 отчётов об ошибках. Некоторое время мессенджер ВКонтакте проверялся только нашим сообществом бета-тестировщиков.

За пять лет многое изменилось:

• баг-трекер превратился в полноценную платформу для тестирования,
• конкурс вырос в постоянную программу с полноценным комьюнити,
  
• ВКонтакте встроила бета-тестирование в релизный цикл.

Всё это время мы исследовали разнообразные подходы и гипотезы: создавали уникальный симбиоз собственного программного продукта и комьюнити тестировщиков, построенного вокруг. Сейчас в нашем сообществе 36 000 пользователей — именно они помогают продуктам на последнем этапе перед запуском.

Сейчас все мажорные обновления ВКонтакте в обязательном порядке проходят бета-тестирование. А, например, бета-версии клиента для Android и вовсе могут выходить несколько раз в день, чтобы конечный пользователь встретил как можно меньше ошибок.

Участники программы не только постоянно проверяют обновления в рамках недельного релизного цикла, но и оставляют предложения — они нередко обретают форму в следующих версиях.

Конечно, часто пожелания пересекаются с планами команды. Но это лишь подтверждает, что для развития продукта выбрано верное направление.

Как правило, участники предлагают небольшие фичреквесты, чтобы пользоваться платформой стало ещё удобнее. Например, добавить новые функции в клиентах: возможность отображать реплаи и переходы к ним, делиться стилями стикеров, выбирать, публиковать ли историю о смене фото в профиле.

Мы часто обращаемся к комьюнити за помощью в нестандартных ситуациях: к примеру, когда ищем стабильные шаги воспроизведения редких ошибок или крашей, сталкиваемся с проблемами на необычных Android-девайсах. Кроме того, перед крупными релизами мы проводим марафоны по тестированию, чтобы в кратчайшие сроки проверить новые функции и получить пользовательский фидбэк. Так было, когда мы запускали Клипы ВКонтакте или обновляли мессенджер. Также этап беты проходят все сервисы на платформе VK Mini Apps, прежде чем попасть в каталог.

Чтобы баг-трекером было удобнее пользоваться, мы разработали мобильную версию и собственную дистрибуцию. Только представьте: установить бета-версию приложения можно прямо из баг-трекера, нажав всего одну кнопку, а рассказать об ошибке — на соседней вкладке.

Таким образом, бета-тестировщикам становится проще взаимодействовать и с Командой ВКонтакте, и с самим баг-трекером. Они могут сообщать об ошибках за считаные минуты и тем самым совершенствовать продукты платформы.

Сила VK Testers — в комьюнити. В программе бета-тестировщики плотно взаимодействуют с командами продуктов ВКонтакте и друг с другом. А ещё — много учатся. Мы уделяем пристальное внимание образовательному контенту: постоянно публикуем статьи с теорией, рассказываем об особенностях продуктов. А пару месяцев назад выпустили целый образовательный видеокурс. Получились отличные материалы для полноценного старта в специальности: от истории методов и подходов до автоматизации тестирования мобильных приложений.

Одна из ценностей ВКонтакте — это люди. Поэтому с самого начала мы решили обойтись без пропасти бюрократии и формальностей между участниками программы и сотрудниками ВКонтакте. Этому немало помогла легендарная «Тестировочная №1» — чат-предвестник комьюнити, первыми участниками которого стали ребята из VK Mobile в 2017 году. Именно здесь зародился один из основных форматов работы: тесное сотрудничество в обстановке, где не страшно ошибиться или сказать глупость.

Важное место в системе занимают офлайн-мероприятия. В течение года мы проводим несколько встреч, где все могут познакомиться и пообщаться вживую. Также события и конкурсы, которые помогают раскрыть творческий потенциал, регулярно проходят онлайн.

Всё это вместе с высокой вовлечённостью команды помогает программе VK Testers оставаться практически уникальным явлением в мире тестирования.

Мы гордимся, что в нашем сообществе царит атмосфера дружеского соревнования. В этом помогает геймификация: она внедрена в процесс поиска ошибок, чтобы поддерживать здоровую конкуренцию.

Так, пару недель назад мы представили систему достижений. Можно получать значки, если совершать разные действия: например, заводить отчёты, участвовать в крупных проектах и мероприятиях. Большинство ачивок увеличивают рейтинг тестировщика в программе, но некоторые его уменьшают — и хорошие ребята вряд ли их получат. Такие «награды» мы держим в секрете, чтобы не соблазнять участников нарушать правила.

Также мы уже во второй раз проводим премию VK Testers Awards, где отмечаем успехи тестировщиков за год. Премия проходит в день рождения программы. В этот раз мы подготовили 16 номинаций: лучших ждут награды за большое количество принятых отчётов или за качественный поиск уязвимостей. Победителей мы объявим уже сегодня. Они получат диплом, специальную ачивку, а победители в главных номинациях — ещё и короткий адрес ВКонтакте.

Однако в программе VK Testers участников ждут не только виртуальные, но и реальные вознаграждения. За активность бета-тестировщикам даются баллы. Это внутренняя валюта, которую можно потратить в «лавке тестировщика»: на новенький MacBook или iPhone, премиальные устройства на Android или мерч.

Элементы геймификации мы используем и при тестировании новых продуктов. Например, при крупном обновлении бэкенда историй важно было протестировать их загрузку в формате видео. Мы предложили тестировщикам не просто проверить раздел, но и поучаствовать в конкурсе на лучшую историю — с сюжетом, как ожидаемый и фактический результат драматично не совпадают в жизни. Чтобы победить, нужно было не только снять легендарное видео, но и создать отчёт о баге — желательно, не менее легендарный.

VK Testers — история не только про бета-тестирование. Это настоящая стартовая площадка для ребят, которые хотят начать карьерный путь в IT. Десятки наших «выпускников» работают ВКонтакте и в других компаниях благодаря своим теоретическим знаниям, а главное — огромному количеству практики, полученной в программе.

В VK Testers каждый найдёт что-то своё. Можно научиться тестировать и попасть в Команду ВКонтакте. А кто-то просто будет рад узнавать об обновлениях на платформе раньше других пользователей. Лучше всего нашу работу отражает один из девизов программы — We test with love: мы совершенствуем продукт, к которому неравнодушны.

Если вы разделяете наши ценности, присоединяйтесь к программе бета-тестирования и официальному сообществу VK Testers. Чтобы попасть в частную группу тестировщиков, нужно пройти небольшой вступительный тест. Для этого напишите команду /start в сообщения: vk.me/testers

Закончить хочется пожеланием.

В День тестировщика прежде всего желаю коллегам сохранять верность профессии: всегда оставаться внимательными, заинтересованными и не соглашаться на меньшее. Тестировщик — это призвание. Им может стать далеко не каждый: чтобы находить ошибки и указывать на них, нужна определённая смелость.

А тем, кто не связан с тестированием, я желаю относиться к ошибкам в коде и в жизни проще. Это наши точки роста. Не ошибается только тот, кто ничего не делает. И тестировщики знают это как никто другой.

С пятилетием VK Testers и с Днём тестировщика!