Таймлайн: Buglance

Сервис тестирования мобильных приложений.

Запуск

Идея сервиса, использующего для тестирования формат краудтестинга («тестирование толпой»), родилась совершенно случайно — благодаря багу в популярной мобильной игре Fatal Fight (более пяти миллионов установок в Google Play и титул «Самая лучшая новая игра» в App Store).

На тот момент я и моя команда Tor Games разработали, помимо Fatal Fight, ещё несколько мобильных приложений. Мы раскручивали наши проекты за счёт постоянного контроля качества и работы с отзывами от пользователей. Именно тогда мы поняли, что основная причина нашей головной боли — тестирование продукта.

Толчком к созданию сервиса тестирования мобильных приложений послужил конкретный баг в той самой Fatal Fight. Мелкая, но вредная ошибка — проблема с воспроизведением звука — всплывала только на Samsung Galaxy Tab 2. Пользователи этого планшета оставили несколько негативных отзывов в Google Play.

Мы не могли найти причину бага — ошибка не воспроизводилась на тех устройствах, которыми мы располагали. Поиски Galaxy Tab 2 среди друзей и знакомых не увенчались успехом — на тот момент устройство уже вышло из продажи и потеряло популярность. В итоге мне пришлось потратить $200 и купить подержанный планшет.

С неуловимым багом мы всё же справились. И именно тогда было решено делать специальный сервис — оказалось, что это распространённая проблема: разработчики уделяют недостаточно внимания тестированию, а некоторые просто не умеют это делать.

Продукт

В конце 2016 года у меня уже была готова идея: создаём сервис, где разработчик или владелец приложения может зайти, выбрать модели устройств, которые буду участвовать в тестировании, и запустить процесс «отлова» ошибок. Никакой абонентской платы — клиент платит только за те баги, которые были найдены тестировщиками.

Стоимость тестирования для заказчика в этом случае снижается на порядок. Как такое возможно? Поясню.

Если вы попробуете найти сервис, который помог бы вам быстро и недорого протестировать мобильное приложение на определённом наборе устройств, то будете «приятно» удивлены — цены в этом сегменте не отличаются гуманностью. Скорее всего, вам предложат не индивидуальный подход, а фиксированную или абонентскую плату. В среднем — от $300 до $5 тысяч.

Штатных тестировщиков позволить себе готовы немногие. Среднемировые цены на их услуги, конечно, далеки от американских тарифов (там специалист обойдётся вам в $5-10 тысяч ежемесячно), но всё равно кусаются. Тем более, что один тестировщик, скорее всего, с поставленными задачами не справится.

И это я ещё не говорил о другом важном нюансе — стоимости оборудования. Эксперты рекомендуют «прогонять» мобильное приложение на 30-40 наиболее популярных устройствах, имеющихся на рынке. А это ещё как минимум $8-10 тысяч. И не забываем о постоянном обновлении «парка» мобильных устройств — в идеале необходимо обновлять треть от имеющихся моделей ежеквартально.

Когда мы всё это просчитали, то пришли к выводу, что оптимальным форматом для такого сервиса будет краудтестинг. А роль арбитров, модераторов и посредников между клиентами и тестировщиками со всего мира (без преувеличения) в режиме 24 на семь будет выполнять отдел поддержки.

Мы также решили, что наш сервис поможет клиенту отобрать тестировщиков по ряду критериев — точная модель мобильного устройства, операционная система, страна, язык. Кроме того, у клиента должна быть возможность определить тип багов, которые будут отлавливать тестировщики — орфографические ошибки, ошибки локализации, проблемы безопасности, визуальные ошибки, проблемы юзабилити, фатальные сбои.

По итогам тестирования клиент получает подробное описание каждой из ошибок, а также скринкаст, фиксирующий баг или содержащий последовательность действий, которые приводят к той или иной ошибке.

Войти в глобальное сообщество тестировщиков очень просто. Скачиваете мобильное приложение Buglance и регистрируетесь. Всё. Без каких бы то ни было тестовых заданий или испытательных сроков. Несколько минут, и вы уже можете заняться отловом багов.

В зависимости от уровня ошибки за каждую из них мы начисляем тестировщикам от 70 центов до $3,5. Вывести заработанное на данный момент (январь 2018 года) можно через PayPal, WebMoney или переводом на банковский счёт.

Команда

С командой мне повезло: 15-летний опыт разработки позволил легко собрать специалистов высокой квалификации, которые быстро вдохновились идеей и были готовы работать едва ли не круглосуточно. Сейчас в команду Buglance входят семь разработчиков, три тестировщика и дизайнер. Наша штаб-квартира находится в Дубае. Есть ещё и региональный офис — в Баку, откуда я родом.

Отдел поддержки, который призван круглосуточно разруливать все вопросы и со стороны клиента, и со стороны тестировщиков (я говорил о нём выше) состоит из четырёх человек. Но уже сейчас понятно, что по мере развития проекта отдел будет расширяться.

Продвижение

Для поиска клиентов мы используем LinkedIn, а тестировщиков ищем через рекламу в Facebook. Вообще, в случае с Buglance лучше всего работают прямые продажи.

Монетизация

В январе-марте 2017 года мы разработали MVP и веб-интерфейс для клиентов, после чего смогли оценить спрос. На старте все найденные ошибки обходились клиенту в $1 — мы просто хотели убедиться, что идея работает. Сейчас стоимость бага составляет от $1 до $50.

Всё зависит от сложности, типа ошибки и региона. Не секрет, что в разных странах труд оценивается по-разному. То есть если в США тестировщик может получать до $120 тысяч в год, то там $50 за найденную ошибку — это нормально. А вот для стран СНГ средняя стоимость бага составляет около $5.

Метрики в динамике

На февраль 2018 года у нас уже более ста клиентов и более 11 тысяч тестировщиков, которые используют более 2300 уникальных устройств и уже успели отловить более 3400 багов — данные обновляются в режиме реального времени (их можно увидеть на главной странице сайта Buglance).

CPA для привлечения тестировщиков меняется от $0,2 до $5 в зависимости от страны и канала продвижения. СPA для клиентов — от $5 до $200 (по тем же самым причинам). Эти показатели постоянно снижаются, благодаря A/B-тестам, которые мы проводим в рамках digital-маркетинга.

Планы

Наш старт мог не состояться, если бы не предложение бизнес-ангела, который поверил в мою идею и предложил проинвестировать запуск проекта — $15 тысяч было вложено в создание proof-of-concept.

Чуть позже в подготовку бета-версии Buglance инвестировал мой друг — $50 тысяч. Затем, пока мы искали новые инвестиции, я вложил $35 тысяч уже своих собственных сбережений. Наконец, в декабре 2017 года мы привлекли еще $100 тысяч. Нетрудно подсчитать, что общий размер инвестиций на сегодняшний день составляет $200 тысяч.

В четвёртом квартале прошлого года мы вышли на российский рынок — до этого работали с клиентами из Азербайджана и Турции. Изначально Buglance поддерживал только Android, но в январе 2018 года была добавлена и поддержка iOS — и для клиентов, и для тестировщиков. В ближайшее время, помимо PayPal и WebMoney, к нашему сервису будет подключена ещё одна платёжная система — Qiwi.

Естественно, мы готовимся к глобальной экспансии. До конца года запланирован выход на рынки стран Латинской Америки, Китая и Азии в целом. Соединенные Штаты? Это наша основная цель. Выход на рынок США мы также запланировали на конец 2018 года — к этому времени у нас будет отшлифованный продукт с огромным количеством тестировщиков и кейсов.

Прогноз

Вы тоже можете рассказать о своём проекте, как автор этого материала. Соберите побольше информации — и публикуйте материал в подсайте «Трибуна».
0
31 комментарий
Написать комментарий...
Алексей Шпилёв

Интересная штука, но весьма размыто всё как-то. Как я могу ставить ограничение по количеству багов?? Я же не знаю сколько их в приложении и на каких устройствах, для этого и тестирую. Получается, я ставлю ограничение, допустим, на десять багов, вы их находите. А то что там может ещё быть штук десять - это уже никого не интересует. Пользуясь вашей системой, действительно сложно что-то планировать. Задумка-то не плохая. Вот если бы вы детектировали все баги, и говорили об этом клиенту - это другой разговор) Допустим, заплатил я за 10, а вы мне такие говорите: "эй, ты заплатил за 10 багов - вот тебе десять багов, но у тебя обнаружено ещё 100500 штук". И обсудить дальнейшее сотрудничество. Но только если эти баги будут не выдуманными вами. Кстати, над доказательством вам тоже нужно поработать)).

Ответить
Развернуть ветку
Toghrul Samad
Автор

У вас тоже интересный сервис - в наши планы тоже входят предоставлять такие отчеты клиентам;)

Ответить
Развернуть ветку
Алексей Шпилёв

Тогда давайте сотрудничать))

Ответить
Развернуть ветку
Toghrul Samad
Автор

Мы только за)

Ответить
Развернуть ветку
Toghrul Samad
Автор

Нет, это не так работает - вы ставите баланс скажем 500 долларов и говорите найдите мне столько багов сколько сможете - и мы находим до тех пор пока не израссходаем весь баланс) Если не смогли, то остаток можете вывести (такого еще не было) На счет доказательство вы получаете скрин видео и подробное описание. И подозрительные баги мы воспроизводим перед тем как отпрвить клиенту.

Ответить
Развернуть ветку
Слон Петрович

По запросу crowdtesting / crowdsource testing десятки результатов уже присутствующих на рынке предложений. Как вы собираетесь "выходить на рынок", чтобы вас там вообще хоть кто-то заметил?

Ответить
Развернуть ветку
Toghrul Samad
Автор

Так же как обычно это делается - за счет улучшение качество сервиса и некоторых growth hacking тактик.

Ответить
Развернуть ветку
Andrew Moroz

Без цен непонятно

Ответить
Развернуть ветку
Эрнст

Стоимость бага от 1 до 10 долларов, в зависимости от сложности (безопасность, интерфейс и прочее).

Ответить
Развернуть ветку
Andrew Moroz

Т.е. оплата за найденый баг? Значит ли это что я не могу контролировать свои расходы, скажем раскатав сомнительный билд на США и получить в ответ 50 багов по 50 долларов?

Ответить
Развернуть ветку
Эрнст

Вы можете сами выбрать бюджет кампании, указав критерии устройств для тестирования (ОС, версия ОС, территория, конкретные девайсы, язык интерфейса и т.д.), а также указать какой тип багов вы хотите искать.

Ответить
Развернуть ветку
Andrew Moroz

Ну я честно скажу, нам бы это не подошло. Почему? Мы не знаем какой тип багов мы хотим искать. Мы просто хотим идеальное приложение, которое работает у всех. А пока получается что это какой-то egg hunt. Типа мы тут сделаем баг а потом посмотрим найдет ли его кто-то или нет!
Разброс гео и девайсов - тоже не очень понятен без регистрации. Обычно обращаешься в такой сервис именно если тебе нужна экзотика какая-то, а тут судя по всему ее не особо много.
Сколько времени занимает тестирование? Непонятно, прощай планирование релизов.
Планировка расходов тоже непонятна, типа плати больше - получишь больше багов (а если нет?), прощай финансовое планирование.
Если бы был скажем тариф - в месяц $N и мы гарантируем такое и такое в такие сроки, с этим можно было бы поработать.
Возможно конечно это мы такие придирчивые, но думаю и другие такие есть, особенно среди больших клиентов.

Ответить
Развернуть ветку
Toghrul Samad
Автор

Вы не знаете какой тип багов искать?
- Выберите "все категории" багов. И вы будете получать всякого рода баг репортов
Сколько времени занимает тестирование?
- вы можете в любой момент остановить тестирование, в течении 24 часов получение бага гарантировано.
Планировка рассходов?
Вы платите за результат и не можете получать больше багов чем ваш баланс. Но мы учтем этот фидбек и добавим возможность ограничения баланс каждой компании.

П.С. Это стартап - мы учимся (давольно быстро) и меняем сервис получая отзывы от таких людей как вы. Так что не судите нас строго, мы стараемся.

Ответить
Развернуть ветку
Andrew Moroz

Так я для этого фидбек и даю, я же не просто так наехать без причины 😉

Планирование расходов так не работает в реальной жизни. Простой пример - все было идеально, получали по 3-4 бага. Бюджет с запасом. Выходит новая версия ОС (не приложения), или новый девайс, или еще что-то от третьей стороны (прошивка, оболочка и пр.) с кучей нового, бюджет заложен как обычно, получаем 8-10 багов (больше бюджет не позволяет допустим), ну такие сидим - отлично, теперь у нас все работает. А оказывается просто бюджета не хватило...

Ответить
Развернуть ветку
Toghrul Samad
Автор

Расскажите как вы видете планирование рассходов. Ежемесячная подписка это стандартная модель которым пользуются наши конкуренты. Но никто не гарантирует количество багов - например есть сервис который берет 3000 долларов в месяц и дает гарантию на неограниченное количество тестов, но не количество полученных багов. Что означает что даже если вы получите 10 багов вы заплатите 3000, а с нашими расценками по 5 долларов в среднем вы должны получить 600 багов за месяц. Что неплохо. (Это наде же какое гавно выпустить чтобы было 600 багов за месяц). А если получаете меньше чем 600 багов то платите меньше. Разве это не шикарно?

Ответить
Развернуть ветку
Andrew Moroz
Расскажите как вы видете планирование рассходов

Расскажите как вы тратили посевной раунд) Вот так же. Есть скажем 15к бюджет на все. Сколько выделить на тестирование? ну, 500 пусть будет. Нужно уложиться все сделать за 3 мес например (чтобы из 15 хватило на разработку и маркетинг и на тестирование и на доработку). Получается 1.5к из всего бюджета на тестирование. Через месяц сделали билд - отправили, получили багов на 100, второй месяц - багов на 100, потом допили все что нужно и вышла новая iOS например и с ней новый iPhone Y треугольный - багов на 1000. Ну ладно, чеж, поправили. А бюджета больше нет. И вот вопрос - остались ли там баги? Хз. А экстраполируйте это на большого клиента с циклами скажем по неделе-две. Там расхождение будет еще больше в конце концов. Месячный тариф позволяет сразу понять что чего бы не случилось у вас все ок.

Это наде же какое гавно выпустить чтобы было 600 багов за месяц

Видимо вы никогда не работали с приложениями со сложной гео и девайсо-зависимостью и 30+ языками. А это самые ваши клиенты же.

Ответить
Развернуть ветку
Toghrul Samad
Автор

Ну не совсем - мы не собираемся полностью заменить уже существующие методы тестирование - например автоматические тесты. Нашим сервисом нужно воспользоваться после того как приложение прошла первоначальную грубую обработку. Иначе нужно будет раскошелиться очень прилично.

Но я беру в заметки - возможно в будущем создадим месячные тарифные планы для тех клиентов которые не хотят замарачиваться с ценой бага. Если таких запросов со стороны актуальных клиентов будет достаточное количество пока что не было.

Ответить
Развернуть ветку
Toghrul Samad
Автор

Ну так ставьте больше баланс) Это похоже на то когда клиент который исчерпал свой баланс на рекламу жалуется на то что можно было сделать больше продаж если бы деньги на счету adwords или facebook не закончился.

Ответить
Развернуть ветку
Andrew Moroz

Насколько больше? В этом и проблема планирования. С рекламой там предсказуемо ибо есть CTRы и зависимость часто линейная, с багами то не так. Возможно, именно поэтому у других сервисов нет такой бизнес модели?

Ответить
Развернуть ветку
Эрнст

В отличии от других краудтестинговых сервисов, здесь вы не платите тестерам за час работы или просто фикс за сам факт тестирования. Вы платите, только за найденный баг. Ваше приложение идеально? Нет багов? Отлично, вы ничего не платите тестерам. 1000 тестировщиков нашли всего 2 бага? Отлично, заплатите всего 2 доллара.

Сроки проведения кампании тестирования вы также устанавливаете самостоятельно.

Ответить
Развернуть ветку
Dmitry Semiriazhko

хороший сервис - относительно незадорого можно получить первые баги. Но как только продукт более-менее сложный и нужно тестировать определенные части функционала, то тутже нужны тестировщики со стажем и за копейки не отделаешься.

А основное бабло имеенно там. С вашим подходом апсейл сделать не получится, потому что нужно интегрироваться с командой разработки, писать кучу документации итд.

Еще один камень подводный это минорные баги. Они есть мы их знаем но фиксить их не будем. Найти 100 минорных бага это классно для тех кто держит планку качества. Но не у всех есть ресурсы доводить продукт до блеска

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Toghrul Samad
Автор

Конечно она не новая - но у нас подход другой. До Илона маска разве не было машин? Или электрических автомобилей? Было - но это не помешало ему создать лучшую машину на рынке. Вот и мы стараемся создать лучший сервис краудтестинга. На счет не заинтересованности более опытных тестировщиков вы правы - но для этого у нас тоже есть решение - очень скоро мы будем отдавать модерацию багов более опытным тестировщикам - так что более опытные тестировщики не будут соревноваться с новичками;) Дайте нам время и мы взорвем рынок!

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Toghrul Samad
Автор

Обязательно)

Ответить
Развернуть ветку
Ismat Valiev

А как вы справляетесь с дублирующими отчетами по багам, например 5 человек нашли одинаковый баг, тогда платится как за 5 багов?

Ответить
Развернуть ветку
Toghrul Samad
Автор

За дубликаты мы платим 10% от стоимости, и они прикрепляются к основному отчету. Но скорее всего очень скоро мы перестанем за них платить и соответственно брать за него оплату.

Ответить
Развернуть ветку
Ismat Valiev

Тогда получится что только тот кто первым нашел баг получит деньги, будет игра на скорость и через несколько часов после публикации уже никто не пойдет тестить, с мнением что там уже нечего ловить. Приведет к оттоку хороших тестеров не желающих гонку устраивать. Думаю эта проблема которую вы столкнетесь скоро. и возможно это и есть причина по которой такая система оплаты у конкурентов.
Вам нужно будет подумать как решить данную проблему с минимальными потерями для тестера и компаний заказчиков.

Ответить
Развернуть ветку
Toghrul Samad
Автор

Нет это не так. У всех конкурентов которые платят за баг не платят за повторные баги. И проблема которую вы озвучили очень легко решается ограничением количество доступных тестов. А гонка это хорошо - чем раньше клиент получит репорты тем лучше.

Ответить
Развернуть ветку
Саня Хисматулин

А есть механизм информирования тестировщиков о найденных багах? Что-то вроде 'уже найденные баги' или пуши после багрепортов от других тестировщиков?

Ответить
Развернуть ветку
Toghrul Samad
Автор

Да есть - но она активируется после отправки бага - а точнее когда у вас повторный баг мы показываем вам оригинал (первый) - это сделано изза того что мы платим за повторные баги. Как только мы перестанем за них платить список багов мы сделаем публичным

Ответить
Развернуть ветку
Олег Шипоренко

И что такого нового?) ответ — ничего

Ответить
Развернуть ветку
Toghrul Samad
Автор

А вы ныряйте глубже) у кого есть приложение через которое можно отправлять отчеты и получать выплаты не дотрагиваясь до компа?

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
28 комментариев
Раскрывать всегда