Нужны ли лидары для self-driving и зачем мы определяем расстояния до объектов одной камерой

Лидар — это дорого. Даже учитывая их снижение стоимости за последние годы, они все равно остаются дорогими, а чтобы обвесить ими всю машину, как делает Waymo, придется заплатить в три раза больше, чем стоимость самого автомобиля. Так можно ли от них отказаться?

У технологии self-driving есть два подхода, первый, опробованный крупными игроками, (первые машины так ездили еще в далеком 2008), заключается в движении автомобиля по построенной 3D-карте. Именно для лучшей ориентации по этой карте и нужно большое количество лидаров. Чем их больше, тем точнее и… дороже. Второй способ основан на нейронных сетях, re-inforcement learning и сложной математике. И именно этим путем мы решили пойти в Ralient, в том числе потому что такой подход будет работать в сложных условиях. Эта область мало изучена, но позволяет значительно приблизить self-driving к реальному вождению в разных условиях. Тем не менее edge-кейсы (события, которые происходят на дорогах редко) все также остаются и с ними все также надо справляться.

Отказавшись от 3D-карт и лидаров мы отказались и от возможности лидарами определять объекты в 3D-пространстве, расстояния и их размеры. Поэтому одной из наших задач была разработка нейронной сети, которая сможет это делать и делать точнее, чем человек.

Разделять объект от фона по двум камерам научились уже достаточно давно. Но для селф-драйвинга очевидно этого не достаточно.

Мы разработали нейронную сеть, которая позволяет делать это с помощью всего одной камеры. В дальнейшем, используя две камеры мы еще увеличим точность. На видео, которое мы прикрепили ниже, вы видите работу нейронной сети на потоке с одной камеры. Нейросеть сейчас обучена только на автомобили.

Подобной технологии сейчас нет ни у кого в мире. Что-то схожее есть у Тесла. Но они это делают с нескольких камер и радара.

Вот пример видео с Tesla.

При этом в нашем примере мы пока что не использовали трекшн объектов, то есть нейросеть обрабатывала каждый кадр без знаний о предыдущем. Это сделано для того, чтобы нейросеть на каждом кадре работала без ошибок.

Это позволит не только нам отказаться от лидаров, это позволит значительно упростить переоборудование машин в беспилотники и увеличить масштабы. Нам не нужно обучать машину ездить именно в вашем городе, не нужно строить 3D-модель вашего города. Мы просто отправим к вам беспилотник.

Так нужны ли лидары для self-driving?

Наш Twitter, мой Twitter, следите за нашим процессом работы.