Главный сенсор: как устроен лидар «Яндекс» для беспилотных автомобилей Статьи редакции

В конце ноября 2021 года «Яндекс» заявил, что перевел свой флот беспилотных автомобилей на собственные лидары. Узнали у инженеров компании, почему они решили заняться разработкой своих сенсоров и как это поможет автономному автомобилю.

Зачем беспилотным автомобилям нужен лидар

Ключевая задача любого автономного автомобиля — определить, что происходит вокруг него. Машине для планирования своих движений каждую секунду нужно понимать, где находится дорога, знаки, пешеходы, здания, деревья, с какой скоростью двигаются другие автомобили. Собирать такие данные помогают сенсоры, установленные в машине — обычно это камеры, радары и лидары в разных количествах и комбинациях.

Большинство известных разработчиков автономных машин можно условно поделить на два лагеря: те, кто создаёт беспилотник, используя камеры и радары, и тех, кто использует для этих же целей лидар как основной сенсор.

Наиболее известный сторонник первого лагеря — компания Tesla, алгоритмы которой опираются на данные с радаров и камер, установленных по периметру машины. Разработчики Tesla уверены, что такого набора сенсоров достаточно для создания автономного автомобиля. Компания уже тестирует программное обеспечение, которое позволяет превратить серийные модели электрокара в автономные машины.

В другом лагере находятся такие компании как Waymo (Alphabet), Cruise и «Яндекс». Помимо камер и радаров они оснащают машины еще и лидарами.

У каждого решения есть свои преимущества и недостатки. Камеры стоят дешево и в связке с радарами позволяют сделать автономный транспорт по-настоящему массовым явлением. Однако на качество данных, получаемых с их помощью, зачастую влияют погодные условия, время суток или просто блик от солнца.

Лидары позволяют получить трехмерную карту окружающего пространства с точными расстояниями до объектов. Сенсор хорошо работает и при плохой погоде и в темное время суток, но его главный недостаток — высокая стоимость.

Облако точек, которое получает лидар Waymo

Зачем компании разрабатывают собственные лидары

Снижение стоимости лидара — одна из причин, по которой компании приходят к решению разрабатывать собственные сенсоры вместо использования сторонних решений. По словам бывшего руководителя Waymo, переход на своё производство может снизить стоимость одного лидара на 90%.

В 2019 году Waymo планировала продавать свои лидары в том числе и другим компаниям. Однако спустя два года решила свернуть проект и сосредоточиться на создании приборов только для собственных нужд.

«Яндекс» не раскрывает стоимость лидара, но говорит о том, что стоимость сборки своего сенсора уже сравнима со стоимостью сторонних — даже с учетом того, что компания сейчас собирает их вручную.

Вторая причина, которая побуждает разработчиков беспилотников заняться собственным производством сенсоров, — данные. Компании, специализирующиеся на разработке лидаров, вроде Velodyne и Luminar, стараются разрабатывать универсальные сенсоры, которые можно встроить в дрон, робота, беспилотный автомобиль или вовсе применять стационарно, например для археологических раскопок.

Беспилотный автомобиль Cruise с лидарами Velodyne на крыше

Такие решения удобно использовать при разработке прототипов или первых партий, однако когда речь заходит о промышленном применении, разработчикам требуется больше сырых необработанных данных и доступ к более глубоким настройкам сенсора, поясняют инженеры «Яндекса».

Как устроены лидары

Принцип работы любого лидара простой. Внутри корпуса находится лазерный излучатель, который отправляет световые импульсы в окружающее пространство. Каждый такой импульс «сталкивается» с объектом — например зданием, автомобилем или камнем на дороге — и возвращается обратно на сенсор лидара. Время, которое луч провел в «путешествии», позволяет вычислить точное расстояние до объекта, от которого отразился импульс.

Основная сложность в том, что для создания подробной трехмерной карты всего окружения нужно каждую секунду отправлять миллионы импульсов, чтобы получилось плотное облако точек. Для решения этой задачи в индустрии чаще всего используется один из двух вариантов конструкции лидара.

Первый — с вращающейся на 360 градусов установкой из лазеров и сенсоров. Такая конструкция чаще всего встречается в индустрии. Например, их производит компания Velodyne — именно её сенсоры можно увидеть на большинстве прототипов беспилотных машин, в том числе и на машинах «Яндекса».

Вращающаяся конструкция лежит в основе в том числе и собственных лидаров Waymo. Как в основном лидаре, который устанавливается на крыше автомобиля, так и в дополнительных, которые расположены над колесными арками для бокового обзора.

Боковые лидары Waymo

Второй вариант конструкции лидара — твёрдотельные и полутвердотельные лидары. В таких сенсорах лазер всегда зафиксирован, а для перенаправления луча используется сложная конструкция из оптических элементов, которые с высокой скоростью изменяют своё положение и перенаправляют сигнал в разных направлениях.

Как устроен лидар «Яндекса»

«Яндекс» рассматривал оба варианта конструкции лидара, поэтому два года назад собрал два прототипа — с вращающейся платформой и статичным лазером. Оба прототипа тестировались на беспилотных автомобилях компании, в результате разработчики решили сосредоточиться на статичной конструкции.

Первые прототипы: сверху — вращающийся лидар, снизу два лидара со статичным лазером

По мнению инженеров, статичное решение оказалось более надежным, так как в нём не используется тяжелых движущихся частей, а сам сенсор устойчивее к морозам и вибрациям.

Внешне финальный вариант лидара «Яндекса» похож на шестигранник с четырьмя стеклянными поверхностями, за которыми скрываются оптические конструкции и лазеры. Инженеры также разработали систему очистки сжатым воздухом и омывающей жидкостью, которая автоматически активируется в тот момент, когда на картинке, генерируемой лидаром, появляются нехарактерные визуальные шумы.

Инженеры не раскрывают подробности устройства оптической системы, установленной внутри, но по своему общему принципу она похожа на систему с быстро меняющими свое положение отражающими поверхностями. Луч лазера постоянно перенаправляется в разные точки пространства, чтобы охватить как можно больше окружающих объектов.

Такая конструкция позволяет управлять лидаром программно, поясняют в компании: «Можно сконцентрировать больше лучей в определенной точке и повысить их плотность, чтобы получить более детализированную картинку».

Пример работы лидара «Яндекса» (на визуализации показаны данные, полученные только с лидара, установленного на крыше машины)

«Например, это полезно на узких улицах с обилием пешеходов. Мы фокусируем лучи лидара на ближайшем окружении и получаем более точную картинку всего происходящего вокруг автомобиля. И наоборот, на трассе с более высокой скоростью движения для машины важно переместить фокус на дальние объекты, чтобы заранее “увидеть” потенциальные опасности». Так, лидар может распознать легковой автомобиль на расстоянии 200 метров, грузовик — до 500 метров, здание — в 600 метрах.

Пример облака, получаемого с помощью лидара «Яндекса»

Фокусировка нужна и в те моменты, когда алгоритм не может с точностью распознать объект. В таком случае лидар может сконцентрировать лучи на конкретной области, чтобы получить как можно больше данных.

Все автомобили последнего поколения беспилотников «Яндекса» уже перешли на использование собственных лидаров — суммарно автомобили проехали более 500 тысяч километром с новыми сенсорами на крыше.

Компания планирует отказаться от использования сторонних решений и для боковых лидаров, которые расположены над колесными арками. А также перейти на собственные разработки для сенсоров в роботах-курьерах.

0
80 комментариев
Написать комментарий...
Дима Соломенцев

Всем привет! меня зовут Дима, я руковожу командой разработки лидара в Яндексе. Вижу живой интерес к нашей новости 🙂 Тут я постараюсь ответить одним комментом на самые частые и острые вопросы из этой и соседней статьи.

Про производство. Наши лидары можно считать полностью своими. Их электроника (схемы, платы), оптика (объективы и сканеры), конструктив и софт полностью разработаны нашей командой. Финальная сборка происходит в нашем инженерном центре в Москве. Каждый важный элемент лидара, который нельзя найти на рынке, сделан по нашим спецификациям. Ну то есть да, резисторы и конденсаторы мы не проектируем, но это вроде и не нужно.

Про то, чем мы лучше (ну или не хуже) аналогов. Кто-то правильно написал, что в лидарной картинке самое важное - это комбинация дальности и разрешения. Мы с помощью своей сканирующей системы и оптоэлектроники можем иметь и большую дальность (до 500м) и очень высокое разрешение (до 0.1 градуса по обеим осям). И это за те деньги, за которые с рынка сейчас это получить невозможно.

Чтобы оценить качество, смотрите на видео в статье: там только лидарные точки и нарисованная для лучшего понимания дорога. Никакого фрода, просто облако хорошее 😉

Ответить
Развернуть ветку
Эльмар Гусейнов

Успехов вашей команде!

Ответить
Развернуть ветку
Продавец Шаурмы

Круто. Если мы посмотрим внутрь "вашего" лидара, мы точно не увидим частей Velodyne?

Ответить
Развернуть ветку
2 комментария
Невероятный Блондин

Хочу получить такие чб изображения улиц как на последней фотке. Где?

Ответить
Развернуть ветку
krmnsrlv

А лазер на какую длину волны используется? наш или зарубежный?

Ответить
Развернуть ветку
Basitkhan Tashmukhamedov

Слушайте, круто что есть такие разработки. Момент для уточнения, есть слепая зона у сканера находящегося на крыше.

Допустим есть такая вещь как автоматический дорожный столб (боллард если проще), его не было при сканировании за пределами слепой зоны, но потом он поднялся. Есть датчики приближения со всех сторон, или будут и нижние сканнеры?

Ответить
Развернуть ветку
Владимир Конош

Как с Вами связаться?

Ответить
Развернуть ветку
Алексей Зиборов

Вопрос - не будут ли лидары в большом количестве находящиеся , скажем на одном перекрестке, мешать и сбивать друг друга? Я не технарь, поэтому интересно мнение знающих.

Ответить
Развернуть ветку
Леонид Цветков

Не, не станет проблемой. Hesai, (это разработчик лидаров), ставил эксперимент, напихали целую комнату лидаров (100+ штук в маленькой комнате) и получили всего 2% интерференции. Это и так супер мало, а на улице если и будут пересечения, то ничтожные доли процента, которые ничему не мешают

Ответить
Развернуть ветку
3 комментария
Дмитрий О

пидары могут мешать и сбивать когда угодно, и вне перекрестка.

Ответить
Развернуть ветку
okman

Хорошая нидерландская компания

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
15 комментариев
Brno

Российская это компания, юр.лицо у неё в Нидерландах, не подменяйте понятия

Ответить
Развернуть ветку
Женя Гагарин

Любая компания, которая имеет Юрлицо в стране работы, именуется национальной.
Например ООО "Макдоналдс" это российская компания. Также и "Райфайзен Банк" - российский банк.

Ответить
Развернуть ветку
nochnoy.ru

Очередное уё выползло

Ответить
Развернуть ветку
Глеб Неизвестный

У противников 5G облучения теперь будет новая, гораздо более досягаемая цель. Автомобиль, облучающий ядерными лучами граждан. Бабки будут лупить палками крыши машин.

Ответить
Развернуть ветку
Константин SDR

Шутки шутками, а есть ли научные исследования в области воздействия лазерных лучей лидара на глаза человека?
А ещё представьте, сколько переотраженок будет попадать в окна к людям, сон будет нарушен, ведь спать нужно в темноте, будут выцветать шторы, включаться телевизоры от воздействия на ИК порты, в общем бабкам столько поводов ))))))

Ответить
Развернуть ветку
Man

Проблема подобных систем, что они хуже адаптируются к изменяющейся среде. Все прототипы гугла, яши и прочих уберов ездят по одинаковым маршрутам (яша например постоянно ездит по мичуринскому, аминьевскому и генерала дорохова в москве), что делает их ИИ хорошо адаптированным именно к этим маршрутам, этим улицам конкретного города. Я молчу про обычные дерева решений в коде. Надо ли говорить что были фатальные случае у убера.

С другой стороны есть comma ai, который представляет из себя планшет с камерой и кабелем подключения к авто, продается за 1000$, работает на открытом софте. Преимущество его подхода в том, что он работает как обычный человек – имеет картинку дороги и принимает решение, а то, что это стоит очень дешево (много пользователей), устанавливается даже на старые авто (при наличии разъема) и работает на открытом софте, что дает огромный массив данных.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Ренат Ренатович
С другой стороны есть comma ai, который представляет из себя планшет с камерой и кабелем подключения к авто, ... Преимущество его подхода в том, что он работает как обычный человек – имеет картинку дороги и принимает решение

Даже не нужно быть инженером, чтобы понять что это шляпа, по сравнению с тем, о чем речь в статье.

Ответить
Развернуть ветку
Алексей Зиборов

Планшет с камерой хорошо. Но как он видит по сторонам? Какой софт на планшете? Что будет в случае зависания планшета? Массив данных чей? В критической ситуации, кого он "выберет"сбивать?.

Ответить
Развернуть ветку
Леонид Цветков

Comma ai это конечно хорошо, но он требует участия человека в процессе управления, потому что одних камер и вычислительного блока из смартфона не хватает для реально беспилотной езды

Ответить
Развернуть ветку
Анатолий Щербина

Из собранных данных можно будет рисовать объемную карту города (знаю что Карты и так уже 3D, но всё же)

Ответить
Развернуть ветку
Ochered Syka

А если пешеходы все время прут и даже на красный, по правилам не проехать, только подрезать пешиков и сигналить, или щемиться на красный и тд, как в таком случае реагирует беспилотник? Стоит курит на перекрёстке?

Ответить
Развернуть ветку
Brno

В принципе сложно представить такую ситуацию, когда людям всё равно на проезжающие машины и красный свет. Но да, логично, что никого "щемить" и "давить" он не будет, максимум сигнал подаст.

Ответить
Развернуть ветку
4 комментария
Алексей Зиборов

В России в комплект к лидару в таком случае сирену и турель прикладывать надо. Впрочем к обочечникам это так же относится.

Ответить
Развернуть ветку
Анон Плиз

Были же видосы, как люди троллили беспилотные тачки, условно вытанцовывая перед ними. Ничо, те стояли и ждали, какие варианты есть, если не объехать?

Ответить
Развернуть ветку
Агнец невинный

ну пешеходы точно далеко не самая большая проблема в дорожном движени так массово они появляются только локально, все проблемы с пробками больше связаны с щемящимися в нарушении ПДПД автомобилистами ЖЕ.
а если все тачки будут автоматом соблюдать ПДД то трафик будет намного более комфортным

Ответить
Развернуть ветку
al 1

лидары, горячая технология, попадают под санкции США и в РФ их поставки запрещены!
как и все, что связано с этой технологией. и, у яндекса был только один вариант - это начать свои разработки и производство.

Ответить
Развернуть ветку
Леонид Цветков

В смысле, только один? Раньше же они ездили как-то не на своих лидарах + такую технику не только в Штатах производят. И откуда в принципе инфа про запрет ввоза? В первые слышу.
Так странно, вам пишут логичное объяснение – так дешевле, а вы что-то придумываете)

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
1 комментарий
К М

а с Китая тоже нельзя?

Ответить
Развернуть ветку
al 1

😱🤷хмм беру свои слова обратно! согласен, покопался и не нашел каких то запретов, ток если в военщину идут поставки, и то надо ковыряться, что к чему. надо проверять свои источники, сорри!

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Дмитрий О

Безопасна ли технология? Лазерный дальномер на 15 метров может повредить сетчатку глаза, а тут 600 метров, насколько это безопасно?

Ответить
Развернуть ветку
Ренат Ренатович

Если бы глаза выжигало, никто их не стал бы использовать на массовом рынке. Лазерные дальномеры тут не причем. Да и приблудами, которыми ГИБДД скорость автомобилей измеряют - много глаз выжгло?

Ответить
Развернуть ветку
2 комментария
Андрій Кеню

Интересно получается

Ответить
Развернуть ветку
Syzygy
Инженеры не раскрывают подробности устройства оптической системы, установленной внутри

Всё, что нужно знать о "лидарах, разработанных "Яндекс".
В чём ноу-хау-то? Что такого сделал "Яндекс", что эти лидары стали его разработкой?

Ответить
Развернуть ветку
Denis Korotkov

Лучшие русские анало-гов-нет, которые... Когда нечего написать — пиши про то что начал делать лопаты. При том что все переходят на экскаваторы.

Ответить
Развернуть ветку
nochnoy.ru

Подгорающее чудо в шапочке, кто ты и где по-твоему здесь написано про аналогов нет? И о каких экскаваторах ты пишешь? В статье ясно рассказано, чем эти лидары лучше всего того, что есть на рынке. Тебя кто-то обидел?

Ответить
Развернуть ветку
Светлана Завацкая

Сколько еще времени пройдёт пока всё работать будет как часы? Жаль что много чего произойдёт плохого, пока штука пользу и комфорт принесёт!

Ответить
Развернуть ветку
nochnoy.ru

500 000 км машины проехали с этой штукой, ничего плохого не случилось. Вам мало?

Ответить
Развернуть ветку
1 комментарий
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Продавец Шаурмы

Всем интересно. Особенно Velodyne, чьи лидары они изначально брали, пока не начали делать "свой", удивительно на него похожий.

Ответить
Развернуть ветку
2 комментария
Михаил Грозовский

Вспомнил, такого комментария еще не было.

Ответить
Развернуть ветку
Дмитрий Крылов

Норм компания , как они додумались до этого

Ответить
Развернуть ветку
Леонид Михалев

Объясните чем принцип работы радара отличается от лидара. Вроде оба отражают радио/свет импульсы.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Denis Glebko

Яндекс, конечно, хорошо двигают прогресс

Ответить
Развернуть ветку
Антон Штадлер

У Cruise свои лидары. Они ещё 3 года назад купили стартап, который отвечал за это направление

Ответить
Развернуть ветку
77 комментариев
Раскрывать всегда