Опять двадцать баг! Примеры глупых ошибок современных тестировщиков, которые принесли немалые убытки
Всем привет! На связи Екатерина Савинкина, директор по продажам компании “Лаборатория качества”. Сегодня я хочу провести небольшую ретроспективу и взглянуть на резонансные случаи ошибок самих тестировщиков. Да, бывает и такое!
Помните, нас в школе учили всегда семь раз отмерить, чтобы потом один раз отрезать? Очевидно, что этот полезный навык современными тестировщиками почти забылся. Когда дело доходит до тестирования ПО и обеспечения качества, ошибка может означать разницу между успехом и неудачей. К сожалению, даже самые основательные факапы могут ускользнуть и привести к финансовым и репутационным потерям.
Щедрый баг от Compound
Так, например, в 2021 году платформа децентрализованных финансов Compound перечислила 280 000 токенов Comp из-за бага. В долларах на тот момент это составляло около 90 миллионов. Проблема была еще в том, что блокчейн-платформа не может самостоятельно вернуть платежи. Когда об ошибке было сообщено руководителю компании Роберту Лэшнеру, он попросил пользователей, которые получили переводы, вернуть их. Естественно, с 10% бонусом, который они могли оставить себе в качестве компенсации. В противном случае Лэшнер обещал передать персональные данные нечестных пользователей и пожаловаться в налоговую. Как мы знаем, с суммы полученных токенов необходимо выплатить налог, а это получается большая сумма.
В итоге, некоторые пользователи согласились и вернули перевод. Другие стали возмущаться платформой и лично Лэшнером. И грозились в ответ на жалобы в налоговую вернуть только 40% от выплат. Лэшнеру не оставалось ничего иного, кроме как извиниться. Он признал свою ошибку и пообещал все разрулить.
Вот так вот баг при обновлении смарт-контакта, который отвечает за распределение средств, чуть не стоил компании денег и репутации. Инциденты такого типа подчеркивают важность тщательного тестирования любого ПО, прежде чем оно будет запущено в прод.
Как “Ак Барс” похудел на 68 млн
Резонансное и довольно известное событие произошло в феврале этого года в России. Клиент банка “Ак Барс” нашел баг в банковском приложении и перевел себе около 68 млн рублей. Мужчина имел две карты банка, одна из которых была заблокирована. По ошибке на заблокированную карту он перевел крупную сумму. Банк отклонил перевод, но он также продублировался и на действующей карте. Счастливчик заметил фишку и в течение нескольких дней перевел себе огромную сумму, что-то обналичил и купил приятные вещи. И слился в закат. По последним данным, он находится в розыске.
Хочется отдельно сказать, эти типы ошибок встречаются чаще, чем можно подумать, и на этапе тестирования стоит проявлять особую бдительность. Как говорили наши бабушки? «Поспешишь в прод – людей насмешишь»?. .
Стеснительный воришка
В 2020 году вышла статья о том, что мужчина нашел способ обыграть онлайн-казино. Да, снова с помощью бага. Нет, эта история не со счастливым концом.
Мужчина обнаружил стратегию, с помощью которой не проигрывал более трех раз подряд. Но почему-то он подумал, что такой удачи не существует и выдал сам себя, обратившись в группу поддержки. Когда сумма увеличилась до 15 тыс, ему заблокировали возможность обналичивания. Однако его это не остановило. Когда выигрыш составил более 38 тыс долларов, с ним связалась администрация казино, остановив игру. Из всей суммы мужчине оставили 6,5 тыс и все баллы. А баг пообещали найти и исправить.
Недао Тойота
Совсем свежий случай произошел буквально на днях. Спустя десятилетие (кроме шуток, ошибка существовала с 2013 года!) компания Toyota обнаружила, что некоторые данные ее клиентов были доступны без какой-либо защиты в течение десяти лет. Речь идет об идентификаторах автомобильных терминалов и номерах шасси, местонахождении авто с данными о времени более 2 млн клиентов.
В чем были ошибки и что надо было сделать?
Тут все до банальности просто. А что просто — то неочевидно. Давайте по порядку:
Compound
С Compound приключилась ситуация, когда новую версию в прод отправили без тестирования (никогда такого не было и вот опять!). Как мы уже знаем, система распределила остатки токенов между всеми участниками сразу после обновления, т. е. проверив обновление системы на тестовом стенде, убедившись, что система работает корректно и не выполняет лишних действий, этой глупой ошибки удалось бы избежать.
“Ак Барс”
С “Ак Барс” все тоже очень просто. Тут при тестировании были учтены не все возможные сценарии работы пользователей. Например, не учтен вариант с переводом на карту, которая не может принять платеж, читай на заблокированную. Почему так произошло?
1. Тестирование не проводилось вообще. Причиной могут быть дедлайны и желание выкатить новый функционал как можно скорее.
2. Тестирование проводилось, но проверили работу только нового функционала. А регрессионное тестирование, чтобы убедиться в корректной работе старого функционала, или не проводили (в целях экономии времени и/или бюджета), или проводили частично.
3. Конкретный тестировщик пропустил эту ошибку. Человеческий фактор никто не отменял.
И чтобы этого не допустить, нужно проводить регрессионное перед каждым релизом. Плюс регрессионное тестирование необходимо автоматизировать и расширять.
Казино
С казино все то же самое как и у банка. Стабильность — признак мастерства: без должного тестирования выкатили версию в прод. А сотрудники техподдержки могли сразу спросить шаги воспроизведения бага, каким образом он добился своих результатов. Но с вероятностью 99,9%, они забили на этот случай. А нужно было всего-то срочно сообщить проектной команде, чтобы тестировщики с ним связались и попытались воспроизвести дефект у себя на тестовом стенде и далее передать локализованный баг разработчикам.
Тойота
Как сообщается официальными представителями компании, данные, которые Toyota Motor Corporation передала Toyota Connected Corporation под управление, стали доступными из-за неправильной настройки облачного сервера компании (читай, доступ был у всех без пароля). Возможно, это так, но вполне вероятно, что тут нужно копать глубже, и ошибка опять в человеческом факторе и недостаточно хорошем тестировании.
Подытожим
Какой же вывод напрашивается? Ошибки — это нормально. Ненормально — делать некачественную проверку. Как показывает плачевная практика, в основном забивают на регрессивное тестирование и тестирование неважных на первый взгляд этапов. Плюс отдельные виды тестирования необходимо автоматизировать, чтобы сотрудники посвящали время более сложным задачам и вопросам.
Не прекращайте искать баги, чтобы сделать этот мир прекраснее!
В завершение, поделитесь своим личным рейтингом дорогостоящих багов, интересно посмотреть ваши списки.
И куда бы вы потратили 68 млн?
А еще!
Всего безошибочного, ваша Екатерина.