Нужны ли лидары для self-driving и зачем мы определяем расстояния до объектов одной камерой

Лидар — это дорого. Даже учитывая их снижение стоимости за последние годы, они все равно остаются дорогими, а чтобы обвесить ими всю машину, как делает Waymo, придется заплатить в три раза больше, чем стоимость самого автомобиля. Так можно ли от них отказаться?

У технологии self-driving есть два подхода, первый, опробованный крупными игроками, (первые машины так ездили еще в далеком 2008), заключается в движении автомобиля по построенной 3D-карте. Именно для лучшей ориентации по этой карте и нужно большое количество лидаров. Чем их больше, тем точнее и… дороже. Второй способ основан на нейронных сетях, re-inforcement learning и сложной математике. И именно этим путем мы решили пойти в Ralient, в том числе потому что такой подход будет работать в сложных условиях. Эта область мало изучена, но позволяет значительно приблизить self-driving к реальному вождению в разных условиях. Тем не менее edge-кейсы (события, которые происходят на дорогах редко) все также остаются и с ними все также надо справляться.

Отказавшись от 3D-карт и лидаров мы отказались и от возможности лидарами определять объекты в 3D-пространстве, расстояния и их размеры. Поэтому одной из наших задач была разработка нейронной сети, которая сможет это делать и делать точнее, чем человек.

Разделять объект от фона по двум камерам научились уже достаточно давно. Но для селф-драйвинга очевидно этого не достаточно.

Мы разработали нейронную сеть, которая позволяет делать это с помощью всего одной камеры. В дальнейшем, используя две камеры мы еще увеличим точность. На видео, которое мы прикрепили ниже, вы видите работу нейронной сети на потоке с одной камеры. Нейросеть сейчас обучена только на автомобили.

Single-shot end-to-end monocular 3D object detection // Ralient

Подобной технологии сейчас нет ни у кого в мире. Что-то схожее есть у Тесла. Но они это делают с нескольких камер и радара.

Вот пример видео с Tesla.

При этом в нашем примере мы пока что не использовали трекшн объектов, то есть нейросеть обрабатывала каждый кадр без знаний о предыдущем. Это сделано для того, чтобы нейросеть на каждом кадре работала без ошибок.

Это позволит не только нам отказаться от лидаров, это позволит значительно упростить переоборудование машин в беспилотники и увеличить масштабы. Нам не нужно обучать машину ездить именно в вашем городе, не нужно строить 3D-модель вашего города. Мы просто отправим к вам беспилотник.

Так нужны ли лидары для self-driving?

Наш Twitter, мой Twitter, следите за нашим процессом работы.

1414
37 комментариев

Достаточно окатить камеру лужей с грязью и привет

2
Ответить

Нет, наши нейросети довольно стабильны к легким искажениям картинки. Посмотрите эту статью, особенно видео со вторым кейсом https://vc.ru/transport/108004-kak-iskat-dorozhnuyu-razmetku-v-tom-chisle-esli-ee-net

Ответить

А лидары под дождём и снегом в принципе плохо работают: https://www.quora.com/Autonomous-driving-how-good-is-LiDAR-under-heavy-rain-or-fog

Ответить

Выглядит здорово, но с точки зрения надёжности системы одна камера - маловато. 

1
Ответить

Сейчас лучше подтверждать значения другим датчиком (напр. радаром или одним лидаром).

Ответить

Зачем нужны лидары и прочие датчики, можно просто сделать Искусственный Интеллект, который сам будет распознавать объекты и определять расстояние до них. Изи же. Как Маск до этого не додумался.

Ответить

Удивительно, но Tesla ближе других работают именно в этом направлении. У остальных это просто робототехника.

2
Ответить