Главный сенсор: как устроен лидар «Яндекс» для беспилотных автомобилей Статьи редакции
В конце ноября 2021 года «Яндекс» заявил, что перевел свой флот беспилотных автомобилей на собственные лидары. Узнали у инженеров компании, почему они решили заняться разработкой своих сенсоров и как это поможет автономному автомобилю.
Зачем беспилотным автомобилям нужен лидар
Ключевая задача любого автономного автомобиля — определить, что происходит вокруг него. Машине для планирования своих движений каждую секунду нужно понимать, где находится дорога, знаки, пешеходы, здания, деревья, с какой скоростью двигаются другие автомобили. Собирать такие данные помогают сенсоры, установленные в машине — обычно это камеры, радары и лидары в разных количествах и комбинациях.
Большинство известных разработчиков автономных машин можно условно поделить на два лагеря: те, кто создаёт беспилотник, используя камеры и радары, и тех, кто использует для этих же целей лидар как основной сенсор.
Наиболее известный сторонник первого лагеря — компания Tesla, алгоритмы которой опираются на данные с радаров и камер, установленных по периметру машины. Разработчики Tesla уверены, что такого набора сенсоров достаточно для создания автономного автомобиля. Компания уже тестирует программное обеспечение, которое позволяет превратить серийные модели электрокара в автономные машины.
В другом лагере находятся такие компании как Waymo (Alphabet), Cruise и «Яндекс». Помимо камер и радаров они оснащают машины еще и лидарами.
У каждого решения есть свои преимущества и недостатки. Камеры стоят дешево и в связке с радарами позволяют сделать автономный транспорт по-настоящему массовым явлением. Однако на качество данных, получаемых с их помощью, зачастую влияют погодные условия, время суток или просто блик от солнца.
Лидары позволяют получить трехмерную карту окружающего пространства с точными расстояниями до объектов. Сенсор хорошо работает и при плохой погоде и в темное время суток, но его главный недостаток — высокая стоимость.
Зачем компании разрабатывают собственные лидары
Снижение стоимости лидара — одна из причин, по которой компании приходят к решению разрабатывать собственные сенсоры вместо использования сторонних решений. По словам бывшего руководителя Waymo, переход на своё производство может снизить стоимость одного лидара на 90%.
«Яндекс» не раскрывает стоимость лидара, но говорит о том, что стоимость сборки своего сенсора уже сравнима со стоимостью сторонних — даже с учетом того, что компания сейчас собирает их вручную.
Вторая причина, которая побуждает разработчиков беспилотников заняться собственным производством сенсоров, — данные. Компании, специализирующиеся на разработке лидаров, вроде Velodyne и Luminar, стараются разрабатывать универсальные сенсоры, которые можно встроить в дрон, робота, беспилотный автомобиль или вовсе применять стационарно, например для археологических раскопок.
Такие решения удобно использовать при разработке прототипов или первых партий, однако когда речь заходит о промышленном применении, разработчикам требуется больше сырых необработанных данных и доступ к более глубоким настройкам сенсора, поясняют инженеры «Яндекса».
Как устроены лидары
Принцип работы любого лидара простой. Внутри корпуса находится лазерный излучатель, который отправляет световые импульсы в окружающее пространство. Каждый такой импульс «сталкивается» с объектом — например зданием, автомобилем или камнем на дороге — и возвращается обратно на сенсор лидара. Время, которое луч провел в «путешествии», позволяет вычислить точное расстояние до объекта, от которого отразился импульс.
Основная сложность в том, что для создания подробной трехмерной карты всего окружения нужно каждую секунду отправлять миллионы импульсов, чтобы получилось плотное облако точек. Для решения этой задачи в индустрии чаще всего используется один из двух вариантов конструкции лидара.
Первый — с вращающейся на 360 градусов установкой из лазеров и сенсоров. Такая конструкция чаще всего встречается в индустрии. Например, их производит компания Velodyne — именно её сенсоры можно увидеть на большинстве прототипов беспилотных машин, в том числе и на машинах «Яндекса».
Вращающаяся конструкция лежит в основе в том числе и собственных лидаров Waymo. Как в основном лидаре, который устанавливается на крыше автомобиля, так и в дополнительных, которые расположены над колесными арками для бокового обзора.
Второй вариант конструкции лидара — твёрдотельные и полутвердотельные лидары. В таких сенсорах лазер всегда зафиксирован, а для перенаправления луча используется сложная конструкция из оптических элементов, которые с высокой скоростью изменяют своё положение и перенаправляют сигнал в разных направлениях.
Как устроен лидар «Яндекса»
«Яндекс» рассматривал оба варианта конструкции лидара, поэтому два года назад собрал два прототипа — с вращающейся платформой и статичным лазером. Оба прототипа тестировались на беспилотных автомобилях компании, в результате разработчики решили сосредоточиться на статичной конструкции.
По мнению инженеров, статичное решение оказалось более надежным, так как в нём не используется тяжелых движущихся частей, а сам сенсор устойчивее к морозам и вибрациям.
Внешне финальный вариант лидара «Яндекса» похож на шестигранник с четырьмя стеклянными поверхностями, за которыми скрываются оптические конструкции и лазеры. Инженеры также разработали систему очистки сжатым воздухом и омывающей жидкостью, которая автоматически активируется в тот момент, когда на картинке, генерируемой лидаром, появляются нехарактерные визуальные шумы.
Инженеры не раскрывают подробности устройства оптической системы, установленной внутри, но по своему общему принципу она похожа на систему с быстро меняющими свое положение отражающими поверхностями. Луч лазера постоянно перенаправляется в разные точки пространства, чтобы охватить как можно больше окружающих объектов.
Такая конструкция позволяет управлять лидаром программно, поясняют в компании: «Можно сконцентрировать больше лучей в определенной точке и повысить их плотность, чтобы получить более детализированную картинку».
«Например, это полезно на узких улицах с обилием пешеходов. Мы фокусируем лучи лидара на ближайшем окружении и получаем более точную картинку всего происходящего вокруг автомобиля. И наоборот, на трассе с более высокой скоростью движения для машины важно переместить фокус на дальние объекты, чтобы заранее “увидеть” потенциальные опасности». Так, лидар может распознать легковой автомобиль на расстоянии 200 метров, грузовик — до 500 метров, здание — в 600 метрах.
Фокусировка нужна и в те моменты, когда алгоритм не может с точностью распознать объект. В таком случае лидар может сконцентрировать лучи на конкретной области, чтобы получить как можно больше данных.
Все автомобили последнего поколения беспилотников «Яндекса» уже перешли на использование собственных лидаров — суммарно автомобили проехали более 500 тысяч километром с новыми сенсорами на крыше.
Компания планирует отказаться от использования сторонних решений и для боковых лидаров, которые расположены над колесными арками. А также перейти на собственные разработки для сенсоров в роботах-курьерах.
Всем привет! меня зовут Дима, я руковожу командой разработки лидара в Яндексе. Вижу живой интерес к нашей новости 🙂 Тут я постараюсь ответить одним комментом на самые частые и острые вопросы из этой и соседней статьи.
Про производство. Наши лидары можно считать полностью своими. Их электроника (схемы, платы), оптика (объективы и сканеры), конструктив и софт полностью разработаны нашей командой. Финальная сборка происходит в нашем инженерном центре в Москве. Каждый важный элемент лидара, который нельзя найти на рынке, сделан по нашим спецификациям. Ну то есть да, резисторы и конденсаторы мы не проектируем, но это вроде и не нужно.
Про то, чем мы лучше (ну или не хуже) аналогов. Кто-то правильно написал, что в лидарной картинке самое важное - это комбинация дальности и разрешения. Мы с помощью своей сканирующей системы и оптоэлектроники можем иметь и большую дальность (до 500м) и очень высокое разрешение (до 0.1 градуса по обеим осям). И это за те деньги, за которые с рынка сейчас это получить невозможно.
Чтобы оценить качество, смотрите на видео в статье: там только лидарные точки и нарисованная для лучшего понимания дорога. Никакого фрода, просто облако хорошее 😉
Успехов вашей команде!
Круто. Если мы посмотрим внутрь "вашего" лидара, мы точно не увидим частей Velodyne?
Хочу получить такие чб изображения улиц как на последней фотке. Где?
А лазер на какую длину волны используется? наш или зарубежный?
Слушайте, круто что есть такие разработки. Момент для уточнения, есть слепая зона у сканера находящегося на крыше.
Допустим есть такая вещь как автоматический дорожный столб (боллард если проще), его не было при сканировании за пределами слепой зоны, но потом он поднялся. Есть датчики приближения со всех сторон, или будут и нижние сканнеры?
Как с Вами связаться?
Вопрос - не будут ли лидары в большом количестве находящиеся , скажем на одном перекрестке, мешать и сбивать друг друга? Я не технарь, поэтому интересно мнение знающих.
Не, не станет проблемой. Hesai, (это разработчик лидаров), ставил эксперимент, напихали целую комнату лидаров (100+ штук в маленькой комнате) и получили всего 2% интерференции. Это и так супер мало, а на улице если и будут пересечения, то ничтожные доли процента, которые ничему не мешают
пидары могут мешать и сбивать когда угодно, и вне перекрестка.
Хорошая нидерландская компания
Комментарий недоступен
Российская это компания, юр.лицо у неё в Нидерландах, не подменяйте понятия
Любая компания, которая имеет Юрлицо в стране работы, именуется национальной.
Например ООО "Макдоналдс" это российская компания. Также и "Райфайзен Банк" - российский банк.
Очередное уё выползло
У противников 5G облучения теперь будет новая, гораздо более досягаемая цель. Автомобиль, облучающий ядерными лучами граждан. Бабки будут лупить палками крыши машин.
Шутки шутками, а есть ли научные исследования в области воздействия лазерных лучей лидара на глаза человека?
А ещё представьте, сколько переотраженок будет попадать в окна к людям, сон будет нарушен, ведь спать нужно в темноте, будут выцветать шторы, включаться телевизоры от воздействия на ИК порты, в общем бабкам столько поводов ))))))
Проблема подобных систем, что они хуже адаптируются к изменяющейся среде. Все прототипы гугла, яши и прочих уберов ездят по одинаковым маршрутам (яша например постоянно ездит по мичуринскому, аминьевскому и генерала дорохова в москве), что делает их ИИ хорошо адаптированным именно к этим маршрутам, этим улицам конкретного города. Я молчу про обычные дерева решений в коде. Надо ли говорить что были фатальные случае у убера.
С другой стороны есть comma ai, который представляет из себя планшет с камерой и кабелем подключения к авто, продается за 1000$, работает на открытом софте. Преимущество его подхода в том, что он работает как обычный человек – имеет картинку дороги и принимает решение, а то, что это стоит очень дешево (много пользователей), устанавливается даже на старые авто (при наличии разъема) и работает на открытом софте, что дает огромный массив данных.
Комментарий недоступен
Даже не нужно быть инженером, чтобы понять что это шляпа, по сравнению с тем, о чем речь в статье.
Планшет с камерой хорошо. Но как он видит по сторонам? Какой софт на планшете? Что будет в случае зависания планшета? Массив данных чей? В критической ситуации, кого он "выберет"сбивать?.
Comma ai это конечно хорошо, но он требует участия человека в процессе управления, потому что одних камер и вычислительного блока из смартфона не хватает для реально беспилотной езды
Из собранных данных можно будет рисовать объемную карту города (знаю что Карты и так уже 3D, но всё же)
А если пешеходы все время прут и даже на красный, по правилам не проехать, только подрезать пешиков и сигналить, или щемиться на красный и тд, как в таком случае реагирует беспилотник? Стоит курит на перекрёстке?
В принципе сложно представить такую ситуацию, когда людям всё равно на проезжающие машины и красный свет. Но да, логично, что никого "щемить" и "давить" он не будет, максимум сигнал подаст.
В России в комплект к лидару в таком случае сирену и турель прикладывать надо. Впрочем к обочечникам это так же относится.
Были же видосы, как люди троллили беспилотные тачки, условно вытанцовывая перед ними. Ничо, те стояли и ждали, какие варианты есть, если не объехать?
ну пешеходы точно далеко не самая большая проблема в дорожном движени так массово они появляются только локально, все проблемы с пробками больше связаны с щемящимися в нарушении ПДПД автомобилистами ЖЕ.
а если все тачки будут автоматом соблюдать ПДД то трафик будет намного более комфортным
лидары, горячая технология, попадают под санкции США и в РФ их поставки запрещены!
как и все, что связано с этой технологией. и, у яндекса был только один вариант - это начать свои разработки и производство.
В смысле, только один? Раньше же они ездили как-то не на своих лидарах + такую технику не только в Штатах производят. И откуда в принципе инфа про запрет ввоза? В первые слышу.
Так странно, вам пишут логичное объяснение – так дешевле, а вы что-то придумываете)
Комментарий недоступен
а с Китая тоже нельзя?
😱🤷хмм беру свои слова обратно! согласен, покопался и не нашел каких то запретов, ток если в военщину идут поставки, и то надо ковыряться, что к чему. надо проверять свои источники, сорри!
Комментарий недоступен
Безопасна ли технология? Лазерный дальномер на 15 метров может повредить сетчатку глаза, а тут 600 метров, насколько это безопасно?
Если бы глаза выжигало, никто их не стал бы использовать на массовом рынке. Лазерные дальномеры тут не причем. Да и приблудами, которыми ГИБДД скорость автомобилей измеряют - много глаз выжгло?
Интересно получается
Всё, что нужно знать о "лидарах, разработанных "Яндекс".
В чём ноу-хау-то? Что такого сделал "Яндекс", что эти лидары стали его разработкой?
Лучшие русские анало-гов-нет, которые... Когда нечего написать — пиши про то что начал делать лопаты. При том что все переходят на экскаваторы.
Подгорающее чудо в шапочке, кто ты и где по-твоему здесь написано про аналогов нет? И о каких экскаваторах ты пишешь? В статье ясно рассказано, чем эти лидары лучше всего того, что есть на рынке. Тебя кто-то обидел?
Сколько еще времени пройдёт пока всё работать будет как часы? Жаль что много чего произойдёт плохого, пока штука пользу и комфорт принесёт!
500 000 км машины проехали с этой штукой, ничего плохого не случилось. Вам мало?
Комментарий недоступен
Всем интересно. Особенно Velodyne, чьи лидары они изначально брали, пока не начали делать "свой", удивительно на него похожий.
Вспомнил, такого комментария еще не было.
Норм компания , как они додумались до этого
Объясните чем принцип работы радара отличается от лидара. Вроде оба отражают радио/свет импульсы.
Комментарий недоступен
Яндекс, конечно, хорошо двигают прогресс
У Cruise свои лидары. Они ещё 3 года назад купили стартап, который отвечал за это направление