Они «били нам по щам», а мы получали удовольствие. История про сотни баг-репортов и IT-BDSM
В конце ноября состоялся первый релиз нашей платформы для подготовки к собеседованиям IT Resume и нам сразу «прилетело по щам». Сегодня расскажем — что это было и почему мы получали от этого удовольствие :)
Наверно, вы уже догадались: на нас сошла лавина баг-репортов. Если точно — почти несколько сотен за неполных 2 дня!
Однако обо всем по порядку.
Пролог
Для начала накидаем немного контекста, чтобы вы могли лучше прочувствовать наше положение и понять наши мотивации.
- Мы начали пилить платформу для подготовки к собеседованиям в апреле. В ноябре состоялся релиз. За это время были разработаны дизайны, написан фронт, развернуто полноценное API и создан обработчик кода со всеми наворотами типа лексических анализаторов.
Уточнение: Фронт был сначала написан, а потом еще раз переписан на другом фреймворке. Классика.
Все это делалось силами нескольких программистов. Команда была небольшая: бекендер на фултайм + фронтендер и дизайнер на парт-тайм.
200+ задач и тестов разрабатывались силой все той же команды. Для каждой задачи нужно было прописать формулировку, подсказки, решения и оформить юнит-тесты.
Лирическое отступление: сначала казалось, что работы по созданию задач будет немного. Оказалось много.
Итак, хватит контекста. Перейдем к сути дела.
Бета-тестирование
На следующий день после релиза мы опубликовали пост в своих социальных сетях, что мы ищем бета-тестеров. Условия были такие — мы даем премиум-доступ к платформе, а люди сообщают нам обо всех найденных багах.
Изначально мы рассчитывали на 20 бета-тестеров — на наш взгляд этого было достаточно. Плюс нам казалось, что особо никто и не откликнется.
Знаете, за сколько у нас набралось 20 желающих? Меньше чем за 10 минут! Сказать, что мы были в шоке — ничего не сказать. Мы только опубликовали пост и нас сразу засыпали заявками.
В итоге мы расширили квоту и суммарно получилось около 30-35 человек. Хотя заявок было в разы больше — но некоторым пришлось отказать. Простите, если вы это читаете :)
Итак, бета-тест был запущен и тут началось…
Поток баг-репортов
Буквально в первый день на нас сошла [манна небесная] лавина из фидбека. Пользователи писали в телеграм, слали письма на почту, открывали ишьюсы на гитхабе, писали комментарии в социальных сетях — словом, завалило под самое не балуйся.
После такого могла быть только одна реакция — [воспаление синдрома самозванца] радость!
Нет, в первый момент, конечно, мы немного не поняли прикола. Мы же столько работали — откуда столько косяков? Но потом мы поняли самую главную мысль:
Каждый такой репорт = предотвращенное недовольство будущих пользователей.
Наши бета-тестеры — потенциальные пользователи нашей платформы. Они находили то, что им не нравится, что им неудобно и что их раздражает. Каждый такой косяк — минус к нашим конверсиям, минус к нашему retention и LTV в будущем.
Если мы сможем отработать все эти вопросы быстро, то у будущих пользователей таких проблем уже не будет.
Кроме того — буквально за несколько часов мы получили фидбек, за который нам пришлось бы платить немалые деньги тестировщикам + мы сэкономили кучу времени. Как можно этому не радоваться?!
Именно с такими мыслями мы воспряли духом и всей командой отправились пить смузи сортировать и чинить все найденные косяки.
А что по багам?
Выглядит так, как будто мы жесткие косяпоры, да? Ребята выкатили платформу, а там сразу нашлось несколько сотен багов.
На самом деле нет. При детальном рассмотрении каждой заявки были выявлены такие категории:
Явные баги. Например, на некоторых устройствах «разносило» блок с кодом до размеров матушки-тайги. Таких косяков было минимально.
Ошибки в материалах. Это могли быть нечеткие формулировки, опечатки, косячные юнит-тесты и все в таком духе. Таких репортов было довольно много — немудрено, оформить и выверить 200+ задач и тестов — не так просто.
Пожелания и рекомендации. Пользователи просто делились мнением - что им неудобно, что им хотелось бы видеть, чего им не хватает. Такого было довольно много и это супер ценно! Если каждая компания бы получала столько полезной обратной связи — мы жили бы в волшебном мире :)
В процентном соотношении это выглядело примерно так:
Многие репорты, кстати, дублировались. За ними мы следили особенно пристально - их фиксили в первую очередь.
Вот несколько примеров того, что писали нам бета-тестеры в эти дни:
Короче говоря, полезного было масса. Мы были очень рады — это была реальная возможность произвести работу над ошибками и сформировать понимание: какой функционал наши пользователи хотят видеть в первую очередь.
Немного сахара
Давайте под конец насыпем немного [соли] сахара на рану. Конечно, полезный фидбек был, но было также очень много позитивной обратной связи. Вы не представляете (а может и представляете), как это мотивирует, особенно на старте проекта!
Желаем, чтобы каждому из вас прилетали такие отзывы в вашей работе:
Эпилог
Ну что же, наш рассказ подошел к концу. Это не какой-то туториал или статья с «секретным соусом». Это просто рассказ о том, как в череде рабочих процессов ребятам прилетело по шапке и как они обернули эту ситуацию в свою пользу, а не просто расстроились и почувствовали себя дилетантами (как, к сожалению, часто бывает).
Мораль сей басни такова:
Придерживайтесь такого же принципа и в жизни. Оборачивайте сложные ситуации в свою пользу и вы всегда будете на коне.
И напоследок:
Никто тебе не друг, никто тебе не враг, но каждый человек тебе великий Учитель.