Обмануть автопилот Tesla с помощью фальшивой разметки, перехвата управления и апельсина Статьи редакции

Эксперты рынка — о безопасности беспилотных систем и о том, не помешает ли количество угроз массовому распространению технологии.

Наклейки против Tesla

В конце марта 2019 года Tencent Keen Security Lab, исследовательская лаборатория китайской фирмы Tencent, занимающейся кибербезопасностью, провела несколько экспериментов и обманула автопилот Tesla Model S 75.

В первом эксперименте исследователи нанесли на дорогу фальшивую разметку — три белых наклейки неподалёку от разделительной полосы. Алгоритм распознавания Tesla принял их за настоящую разметку, и автомобиль выехал на встречную полосу.

В ходе второго эксперимента специалисты Tencent обманули программу, активирующую дворники. Стеклоочистители в автомобилях Tesla реагируют как на воду, так и на плохую погоду, если её распознаёт компьютерное зрение. Исследователи поставили перед автомобилем монитор с изображением, созданным по специальному алгоритму, и дворники заработали.

Отчётное видео Tencent Keen Security Lab

В третьем эксперименте показали, что уязвимость в программном обеспечении автопилота позволяет открыть доступ к рулевой системе и управлять автомобилем с помощью геймпада. Тем не менее команда Tencent Keen Security Lab использовала не самую последнюю версию ПО, в одном из недавних обновлений Tesla эту уязвимость устранили.

Комментируя результаты, полученные лабораторией, представители Tesla пояснили: использование монитора прямо перед автомобилем для активации стеклоочистителей не является реальным сценарием, который можно применить на практике.

На обвинения в неточном распознавании разметки представители компании ответили, подчеркнув, что водитель всегда должен быть готов перехватить управление у системы автопилота.

Электрокары Tesla не позиционируются как полностью самоуправляемый транспорт — согласно классификации SAE, система производителя предоставляет второй уровень автономности, то есть «частичную автоматизацию».

О команде Tencent Keen Security Lab впервые узнал на конференции BlackHat 2018, когда они выступили с докладом про удалённый взлом критических компонентов Tesla: шлюза, модуля управления кузовом и электронного блока управления автопилотом (ЭБУ).

Это была первая демонстрация взлома модуля, отвечающего за автопилотирование. Современный автомобиль — это распределённая система ЭБУ, объединённая одной или несколькими изолированными друг от друга CAN-шинами.

ЭБУ представляет из себя вычислительное устройство, обрабатывающее сигналы от радаров, сенсоров или других электронных блоков управления. Одна из разновидностей атак на автомобиль заключается в подмене такого сигнала (spoofing). Также хакеры могут найти уязвимость в прошивке ЭБУ и использовать её в любой момент. Ребята из Tencent Keen Security Lab как раз и занимаются исследованиями атак такого рода.

Сергей Гребенников, инженер-исследователь Центра технологий компонентов робототехники и мехатроники Университета Иннополис

Апельсин вместо рук на руле

Команда Tencent исследует уязвимости Tesla не в первый раз. В 2016 году исследователи продемонстрировали бесконтактный перехват управления Tesla Model S с расстояния почти 20 км. Пока машина ехала, они разблокировали двери, включили дворники, открыли багажник, развернули зеркала, изменили положение сидений и даже притормозили.

Спустя десять дней Tesla выпустила обновление, устраняющее проблемы с безопасностью. Годом позже китайские программисты вновь взломали электрокар, на этот раз Model X. По Wi-Fi они перехватили контроль над приборными панелями, фарами, багажником и тормозами.

По словам Tencent Keen Security Lab, вскрыть новую модель Tesla было сложнее, но осуществить это удалось благодаря ряду уязвимостей нулевого дня, обнаруженных в ПО различных моделей электрокара. К такому типу уязвимостей относят ошибки разработчиков, которые не были обнаружены вплоть до момента их использования хакерами и против которых пока не выработаны защитные механизмы.

Свой эксперимент провели исследователи из Университета Южной Каролины, Чжэцзянского университета и китайской компании Qihoo 360, работающей в сфере интернет-безопасности. В ходе испытаний эксперты использовали радио-, звуко- и светоизлучающие инструменты для обмана ультразвуковых сенсоров автопилота.

Им это удалось: система распознавания воспринимала искусственные помехи как находящийся рядом объект, и наоборот — реальные объекты становились для автомобиля невидимыми.

Американец Дэйв Миттон, владелец Tesla Model S, перехитрил машину с помощью апельсина.

Поскольку электрокар не полностью автономен, водитель должен всегда держать руки на руле в режиме автопилота. Прикосновение регистрируется датчиком, измеряющим внешнее давление на рулевое колесо, и автомобиль остановится, если водитель уберёт руки.

Необходимость постоянно придерживать руль Миттону надоела, поэтому однажды он вставил между спицами руля апельсин. Фокус удался, и Tesla продолжила двигаться на автопилоте со скоростью 140 км/ч.

Похожим образом удалось обмануть Volkswagen Tiguan с адаптивным круиз-контролем, только вместо апельсина водитель использовал бутылку минеральной воды. Вскоре после публикации записей экспериментов в США поступили в продажу устройства Autopilot Buddy, которые крепятся на перекладине руля, обманывая датчики.

Autopilot Buddy

Состязательное машинное обучение, бэкдоры и другие риски ИИ

Эксперты из Tencent Keen Security Lab опубликовали объёмный отчётный документ “Experimental Security Research of Tesla Autopilot”, где подробно описали различные проведённые атаки. В отчёте утверждается, что некоторые уязвимости уже исправлены. Но сколько ещё их осталось?

Тестировать настолько технологичные штуки сложно и дорого. Такими исследованиями чаще занимаются ИБ-энтузиасты, участвующие в разных программах баг-баунти. Но если мобильные приложения, сайты или какие-то недорогие железки доступны каждому, чтобы получить для тестирования целую Tesla, нужно постараться.

Хотя я знаю, интерес есть. Но сможет ли столь малое количество исследовательских команд, имеющих возможность тестировать Tesla, найти максимальное число уязвимостей? Или они будут закрываться по мере возникновения инцидентов? Вопрос пока открыт.

У систем, использующих ИИ, есть разные типы уязвимостей. Например, существуют сервисы, использующие онлайн-обучение модели, то есть обучение, при котором модель для обновления текущих параметров получает данные в последовательном порядке.

Зная, как система обучается, можно спланировать атаку: подавать заранее подготовленные данные и переобучать её. Так можно обмануть биометрические системы, обновляющие свои параметры по мере небольших изменений, скажем, во внешности человека при возрастных трансформациях, и выдать себя за жертву происшествия.

Чтобы понять, какие именно атаки угрожают конкретной системе, следует её изучить, описать политику безопасности и модель угроз. Одну из классификаций возможных атак разработал Канг Ли, профессор Университета Джорджии и директора Института кибербезопасности и конфиденциальности Джорджии. Он выделяет следующие риски в системах с искусственным интеллектом:

1. Вредоносное машинное обучение — методы, находящие слепые зоны в моделях и подбирающие данные, которые попадают в эти зоны, что приводит к ошибке. Та или иная модель имеет определённую точность, например 90%. Стало быть, всегда находятся данные, на которых модель ошибается. На эту тему проведено немало исследований, однако решаются в основном абстрактные задачи, и нередко результаты трудно применить на практике.

2. Бэкдоры ─ программы скрытого удалённого администрирования, предоставляющие злоумышленникам доступ к заражённому компьютеру и управление им.

3. Кража модели: когда вы научились решать задачу хорошо, а конкуренты скопировали решение, научившись манипулировать системой.

4. Уязвимости в фреймворках машинного обучения.

5. Логические уязвимости сервисов.

6. «Отравление» данных.

Кроме самого искусственного интеллекта существует много других уязвимых компонентов, защиту которых обойти гораздо проще. Представим: в вашей квартире установлена надёжная «умная» дверь, которая открывается при помощи распознавания лица. Но вору не придётся её взламывать, если вы забудете закрыть окно.

То же и с информационными технологиями. Как бы ни была безопасна система, всегда нужно учитывать человеческий фактор, а также наличие в ней элементов (помимо искусственного интеллекта), которые взломщик сможет обойти.

Задачи безопасности необходимо решать в комплексе и не только применительно к искусственному интеллекту. Сегодня атаки на него реализуемы сложнее, чем атаки с использованием стандартных веб-уязвимостей, входящих хотя бы в десятку OWASP, проекта по обеспечению безопасности веб-приложений.

Надо ли заботиться о безопасности искусственного интеллекта, если порой «дверь» и так открыта? Думаю, в этом случае однозначно выработается практика по имплементации и использованию нечётких алгоритмов, принимающих важные решения. Пока же потребности в таких продуктах растут быстрее, чем люди успевают подумать о рисках безопасности.

А для совершенствования беспилотных технологий хорошо бы начать их массово распространять, чтобы разработчики сталкивались с нестандартными ситуациями. К примеру, именно в нашей стране таких нетипичных кейсов много. Если Tesla и многие автопилоты тестируют (и они успешно работают) на идеальных дорогах Калифорнии, то давайте выглянем в окно и посмотрим на наши дороги.

Рискнули бы вы прокатиться, не держа руки на руле? У Tesla есть кейс, где она ошибается из-за некорректной разметки. Сейчас один из важных вопросов, насколько знаю, — как раз запуск автопилотов на заснеженных территориях. У нас во многих регионах зима длится больше полугода.

Не видно не только разметку, потому что дороги полностью покрыты снегом (могут ли калифорнийцы такое представить?), но и образуются ледяные колеи, и лучше ехать по ним, чем по правилам полос. Сможет ли машина сама проехать в пробке по обледеневшей дороге в горку? А для многих автовладельцев это ежедневное развлечение зимой. Где, кроме как в реальных условиях, можно встретить такое?

Если говорить о беспилотных технологиях не только применительно к автомобилям, есть мнение, что самолёты на обычных авиарейсах уже вполне могут летать без пилотов-людей. Но как много пассажиров на это согласится?

Александра Мурзина, инженер по машинному обучению группы перспективных технологий компании Positive Technologies

Хакера — в штат

Способов взломать искусственный интеллект существует много. Но способов взломать естественный интеллект — не меньше. Не говоря уже о том, что человек в принципе ошибается гораздо чаще хорошо обученного ИИ.

Любая система в какой-то степени уязвима и требует регулярной доработки. Эффективным будет иметь в штате «белого хакера», который понимает алгоритм действий при взломе «чёрными хакерами» и знает, как им противостоять.

Процесс совершенствования технологии искусственного интеллекта бесконечен. Каждая компания проводит локальные лабораторные испытания для улучшения технологии. В целом схема циклична: разработчики и менеджеры по безопасности будут совершенствовать её, а хакеры — придумывать новые схемы взлома.

Хотя сейчас уровень безопасности технологии намного выше, чем, например, лет десять назад. Поэтому через десять лет система будет ещё надёжнее. Однако до тех пор, пока производители не будут достаточно уверены в том, что автопилот безопасен для окружающих, и перехват контроля над ним станет невозможным, массовое использование беспилотных технологий будет оставаться под вопросом.

Марина Майорова, руководитель Центра компетенций «Искусственный интеллект и машинное обучение» ИТ-компании «Крок»

Научить нейросеть распознавать ложь

Существует несколько уровней взлома автопилота. Первый — ИТ-система, у которой есть защита информации. Вы можете эту защиту каким-то образом обойти или взломать, как компьютер на колёсах. Второй уровень — когда вы можете обмануть компьютерное зрение, например, нанося специальные метки, которые для человека ничего не значат, но автопилот принимает их за какой-то объект. Это даже не взлом, а скорее введение в заблуждение искусственного интеллекта.

Это разные попытки взлома, и существуют разные способы борьбы с ними. В первом случае — шифрование трафика и другие распространённые методы, которыми занимаются типовые специалисты по защите информации.

Во втором — мы просто собираем как можно больше информации о способах обмана и обучаем нейронные сети так, чтобы эти способы попадали в отрицательные выборки.

Есть два типа обучающих выборок для нейронных сетей: условно позитивные, когда мы, допустим, хотим обучить нейросеть узнаванию кошки и показываем системе разные изображения с кошками. Затем мы показываем нейросети собаку, сообщаем ей: «Это собака, она похожа на кошку, но это не кошка», и прямо говорим: «Это не кошка, не учись этому».

Наши беспилотники мы защитили от взлома тем, что они не предполагают возможности дистанционного управления. Представьте аналогию со стандартными мерами защиты: сделать более укреплённую дверь, поставить замки и прочее. У нас вообще нет дверей, в этот автомобиль нельзя постучаться. А поскольку нет дверей, нет и предмета для взлома.

Юрий Минкин, руководитель департамента разработки беспилотных транспортных средств Cognitive Technologies

Расширить каналы восприятия

Чтобы защитить автопилот от атак, необходимо расширить каналы его восприятия, то есть применять не только машинное зрение для распознавания объектов, но и установить дополнительные датчики, правильно задействовать комплексирование данных от сенсоров разной природы: видимый диапазон, лидар, геоданные. Обмануть сразу все «органы чувств» автопилота очень трудно — это и делает его надёжным.

При этом современные беспилотные технологии уже сейчас в тысячу раз безопаснее, чем обычные автомобили, управляемые человеком. Мы постоянно слышим о новых происшествиях с участием автономных машин только потому, что из каждого инцидента раздувается сенсация. Вчера, проезжая вечером по шоссе, я увидел четыре аварии, и если бы о каждом таком ДТП писали все СМИ, картина представлялась бы иной.

Александр Ханин, генеральный директор компании VisionLabs
0
28 комментариев
Написать комментарий...
iLeonidze
Тем не менее команда Tencent Keen Security Lab использовала не самую последнюю версию ПО, в одном из недавних обновлений Tesla эту уязвимость устранили.

Учитесь делать контент из воздуха:
1) Не обновляемся
2) Читаем патчноуты новой версии
3) Воспроизводим баг/уязвимость
4) Пилим контент

Ответить
Развернуть ветку
Илитный Иксперт

Китайцы только копировать и подсирать другим умеют. Пусть сами выпустят такую же инновационную машинку как Тесла сначала, посмотрим как у них получится

Ответить
Развернуть ветку
Василий Зеленов

Они нашли уязвимости и сообщили о них, таким бизнесом занимаются многие компании из сферы безопасности.
Инновационная машина как тесла - Fisker EMotion, который готовится к выходу.
Из тех, которые есть в продаже - Nio ES8, которые недавно тоже сфейлились с обновлением системы во время движения автомобиля.

Ответить
Развернуть ветку
Илитный Иксперт
Fisker EMotion, Nio ES8

Кто об этой нонейм-херне услышал бы, если бы не Маск?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Илитный Иксперт

Вы просто Тесла-хейтер, понятно

Ответить
Развернуть ветку
Василий Зеленов

Вообще-то, Fisker Karma был представлен в 2009 и выпускался в 11-12, выпуск тесла начался с 12. А о дизайне и говорить не стоит. Фискер которому 10 лет выглядит в разы лучше теслы, в а основе их нового электромобиля будет лежать тот же дизайн. Сейчас Fisker принадлежит Geely, которая успешно существует и расширяется последние 32 года и не работает на миллиардные убытки, как Tesla.

Ответить
Развернуть ветку
Alexandre Svergoun

Tesla родстер начал выпускаться намного раньше. Fisker уже два раза обанкротился.

Ответить
Развернуть ветку
Василий Зеленов

Комментарий был по поводу Маска и влияния на фискер и Nio

Если говорить про родстер, его продажи оставляли желать лучшего и он относился к спорткарам, а не обычным автомобилям.
Еще один дизель с хорошим дизайном продался тиражом около 2 тысяч (около 400 затонули в ураган), инновационный электрический спорткар с равной ценой разошелся тиражом в 4 тысячи.
Но не стоит забывать и того, что убытки тесла за год превышают все инвестиции в Fisker за историю компании.

Ответить
Развернуть ветку
Алексей Чингуль

Слушайте... Ну правда надоело это нытьё в сторону Tesla.
Все компании молодцы, что развивают эту отрасль. И те кто делает и те кто тестирует на взломы.

Благодаря Tesla электромобили стали рассматривать как коммерческий и массовый продукт для широкого спроса. Когда все автопроизводители хихикали. А теперь экстренно начали догонять этот тренд.

До Tesla электромобили рассматривали как диковинку. Вот сейчас есть модели летающих автомобилей, но их никто не продаёт массово. Это диковинка, для техногиков.

Ответить
Развернуть ветку
Василий Зеленов

Это рано или поздно случилось бы и без теслы, эволюция не стоит на месте. Первое поколение гибридного Приуса вышло в конце 90х и продажи были выше, чем у тесла в момент релиза. Тесла первым довела технологию до ума и не более того.

Такая же ситуация будет летающими автомобилями, графеновыми батареями и квантовыми ПК. Если технологию реализует какая-то небольшая компания, то она будет на коне, пока гиганты рынка не пройдут через свою бюрократию и не вытеснят её.

Каждый из нас использует смартфон, но где сейчас создавшая его Motorolla? Продана китайцам за копейки и доживает свое.

Ответить
Развернуть ветку
Фомушка Фома

проблема, как по мне, кроется в том чтобы донести до "ленивого и глупого" пользователя ограничения в которых он может пользоваться функцией и в которых не может.
На данный момент "автопилоту" надо учиться полностью отключаться в условиях неопределенности и правильно эти условия определять.

А массовый кейс "99% я езжу по сухому асфальту с разметкой, а вот тесла не может по заснеженному с колеей ехать, поэтому тесла плохая и не надо покупать" - я бы обсуждал в разделе социология.

Ответить
Развернуть ветку
Ян Зовём

Проблема в том, что не надо называть автопилотом то, что им не является.

Ответить
Развернуть ветку
Фомушка Фома

проблема массового "ожидания/реальность". типичный пример про автопилот в самолете. почему-то споров про его название никто не ведет. хотя и там далеко не автопилот.

Ответить
Развернуть ветку
Ян Зовём

Так как раз самолетный автопилот и позволят бросить штурвал и пить кофий. Понятно дело, что с ограничениями.

А если руки на руле и внимание на дорогу, то не называй это автопилотом, не вводи людей в заблуждение.

Ответить
Развернуть ветку
Blackrock

Так тесла в инструкции по эксплуатации и пишет что у неё активный круиз контроль. Только кто читает эти инструкции когда Маск в интервью говорит что тесла с супер автопилотом уже сейчас

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Ян Зовём

Да сделать реальный автопилот для самолета или корабля, проще чем для автомобиля.

И что дальше? Раз сложно сделать в реале, мы будет так называть то, что у нас получилось? Пипл схавает?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Kirill Ivanov

мда, неосилили управление через стик вместо dpad-а сделать

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
vlad kriloff

Ахахах, эксперты )) Попробуйте обмануть Тесла при помощи бабки с авоськами, перебегающей междугородную скоростную трассу в неосвещенном месте в пол-первого ночи.

Ответить
Развернуть ветку
Фомушка Фома

а у нас тут в Беларуси хотят узаконить в ПДД "обязанность пропускать пешехода на нерегулируемом перекрестке только если до него менее 2-ух полос".

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Victor Hyde

яб с удовольствием покатался на реальной машине с помощью геймпада 👍

Ответить
Развернуть ветку
Alexandre Svergoun

Хайп на Тесле как обычно. Но думаю нужно будет новые законы вводить за порчу разметки, что бы приравнять это к порче путей сообщения. Так как последствия могут быть очень серьёзные от такого баловства. Китай кстати первый начал понимать что дороги тоже нужно совершенствовать. Они открыли пару дорог которые адаптированы для автопилотов. Я считаю это правильно. Иначе можно бесконечно совершенствовать софт. Я сам попадал пару раз на такие перекрёстки где нет 100% уверенности куда можно ехать а куда нельзя.

Ответить
Развернуть ветку
Dmitry Bushkov

Ох уж эти китайцы: геймпад из рук даже за рулём не выпускают ;)

Ответить
Развернуть ветку
Vlad Meshcheryakov

Очень глупое исследование.
Все эти дырки закрыты даже на момент исследования

Ответить
Развернуть ветку
Pepe Elefes

В следующем эпизоде: сотрудники Tencent Keen Security Lab, под впечатлением после марафона фильмов про Джеймса Бонда, решили соорудить автомобиль, в точности копирующий систему дисплеев и камер знаменитого "невидимого" автомобиля Aston Martyn bp "Умри, но не сейчас". К сожалению, собрать реальный прототип у них не вышло, но они не отчаивались, и нашли способ подменить поток данных из датчиков Теслы, воспользовавшись эксплоитом, который исправлен в обновлении от августа 2015 года, чтобы создать иллюзию того, что перед ней движется невидимый объект. И что же вы думаете? Глупый "автопилот" Теслы не смог распознать псевдо-невидимый автомобиль, и попал в ДТП. Пострадало 2 сотрудника Tencent Keen Security Lab и оператор-аутсорсер. Tencent уже подала иск.

Ответить
Развернуть ветку
25 комментариев
Раскрывать всегда