Лидар — это дорого. Даже учитывая их снижение стоимости за последние годы, они все равно остаются дорогими, а чтобы обвесить ими всю машину, как делает Waymo, придется заплатить в три раза больше, чем стоимость самого автомобиля. Так можно ли от них отказаться?
У технологии self-driving есть два подхода, первый, опробованный крупными игроками, (первые машины так ездили еще в далеком 2008), заключается в движении автомобиля по построенной 3D-карте. Именно для лучшей ориентации по этой карте и нужно большое количество лидаров. Чем их больше, тем точнее и… дороже. Второй способ основан на нейронных сетях, re-inforcement learning и сложной математике. И именно этим путем мы решили пойти в Ralient, в том числе потому что такой подход будет работать в сложных условиях. Эта область мало изучена, но позволяет значительно приблизить self-driving к реальному вождению в разных условиях. Тем не менее edge-кейсы (события, которые происходят на дорогах редко) все также остаются и с ними все также надо справляться.
Отказавшись от 3D-карт и лидаров мы отказались и от возможности лидарами определять объекты в 3D-пространстве, расстояния и их размеры. Поэтому одной из наших задач была разработка нейронной сети, которая сможет это делать и делать точнее, чем человек.
Разделять объект от фона по двум камерам научились уже достаточно давно. Но для селф-драйвинга очевидно этого не достаточно.
Мы разработали нейронную сеть, которая позволяет делать это с помощью всего одной камеры. В дальнейшем, используя две камеры мы еще увеличим точность. На видео, которое мы прикрепили ниже, вы видите работу нейронной сети на потоке с одной камеры. Нейросеть сейчас обучена только на автомобили.
Подобной технологии сейчас нет ни у кого в мире. Что-то схожее есть у Тесла. Но они это делают с нескольких камер и радара.
Вот пример видео с Tesla.
При этом в нашем примере мы пока что не использовали трекшн объектов, то есть нейросеть обрабатывала каждый кадр без знаний о предыдущем. Это сделано для того, чтобы нейросеть на каждом кадре работала без ошибок.
Это позволит не только нам отказаться от лидаров, это позволит значительно упростить переоборудование машин в беспилотники и увеличить масштабы. Нам не нужно обучать машину ездить именно в вашем городе, не нужно строить 3D-модель вашего города. Мы просто отправим к вам беспилотник.
Так нужны ли лидары для self-driving?
Наш Twitter, мой Twitter, следите за нашим процессом работы.
Достаточно окатить камеру лужей с грязью и привет
Нет, наши нейросети довольно стабильны к легким искажениям картинки. Посмотрите эту статью, особенно видео со вторым кейсом https://vc.ru/transport/108004-kak-iskat-dorozhnuyu-razmetku-v-tom-chisle-esli-ee-net
А лидары под дождём и снегом в принципе плохо работают: https://www.quora.com/Autonomous-driving-how-good-is-LiDAR-under-heavy-rain-or-fog
Как и люди.
Выглядит здорово, но с точки зрения надёжности системы одна камера - маловато.
Сейчас лучше подтверждать значения другим датчиком (напр. радаром или одним лидаром).
Зачем нужны лидары и прочие датчики, можно просто сделать Искусственный Интеллект, который сам будет распознавать объекты и определять расстояние до них. Изи же. Как Маск до этого не додумался.
Удивительно, но Tesla ближе других работают именно в этом направлении. У остальных это просто робототехника.
Почему, когда читаешь про машинное обучение, всегда кажется, что тебя дешево разводят?
Может, потому что Вы ничего в этом не понимаете?
Боюсь, что достаточно понимаю, чтобы отличить подгон коэффициентов наугад и "построение моделей" от нормального ресеча. Математика для этих модных веяний создается совсем другими людьми, они не сидят в коворкингах со смузи, не обсуждают инвестиции на vc и вообще находятся за пределами РФ. Удел "машинообучальщиков" и прочих хайпожоров - пользоваться уже готовым инструментарием, не вдаваясь в его суть.
Решил провести ресеч, как влияет процесс поглощения смузи/камбучи/прочего и работа в общественном месте (коворкинг закрыт к сожалению) на умственные способности. Как поеду в отпуск за пределы РФ - проведу еще один тест. Обязательно отпишусь)
Да какой там отпуск, это EPFL.
Это отлично. Я исхожу из того, что одной камеры может быть достаточно, только из того, что водить автомобиль может одноглазый человек. Но необходимо иметь ещё как минимум акселерометр, для того, чтобы отличить информацию на горку какой-нибудь, например. А так-то все возможно. Насчёт хайподелов - они везде есть, в любой отрасли...
Комментарий недоступен
Вы ошибаетесь. То, что глаз поворачивается - никак не может решить проблему определения расстояния. Это может только решить проблему, сколько градусов обзора может дать глаз.
Комментарий недоступен
К слову заметить мы не сидим в коворкингах, и проводим много ресеча и тестов. Если вам кажется что это так просто, это ошибочное мнение.
Не берите близко к сердцу. У человека просто стойкое отвращение к коворкингам, смузи и чизкейкам.
Как писал Пушкин, "Быть можно дельным человеком и думать о красе ногтей".
Но у некоторых - это все не так, и только в НИИ ЧАВО, прихлебывая капяток из железной трехсотграмовой кружки - можно разобраться в сути вещей. Но не сидя в коворкинге, со смузи. )))
Такие дела.
А всем же нужно именно не пользоваться инструментами, а заниматься велосипедостроением? Чтобы, так сказать, уже разобраться, так разобраться. Написать компилятор, чтобы уже наверняка все...
Эти времена давно прошли, хочу Вас огорчить. Вы живёте иллюзиями.
Много ваших операционок в продакшене по всему миру? Компиляторов?
Или Вы таки пользуетесь какими-то инструментами?
Где грань, разбирается или нет человек в том, как работает инструмент? По Вашему определению? Сидит в коворкинге - значит не разбирается.)) Хайпует небось.
Я говорю про пафос, с которым преподносится машинное обучение.
Применение хайповой техногии автоматически прибавляет +100 к ЧСВ, хотя на деле это обычная рутина.
Про компилятор плохой пример. Эта такая штуковина, которую в одну морду не напишешь.
Комментарий недоступен
Комментарий недоступен
Пожалуйста, перечитайте статью.
Комментарий недоступен
Ок))
Если точнее, сегментация, это вот это что прикреплено на картинке ниже. Наше видео к yolo v3 отношения не имеет. Yolo это просто сетка, которая находит и классифицирует объекты на 2-мерной картинке. То что представлено в нашем видео, создает из 2D картинки - 3D, и не просто выделяет машины, но и понимает, как далеко они находятся от камеры и находит их границы.
Комментарий недоступен
Ок, разобрались что-то такое сегментация, это уже отлично, и что это не 2Д классификация йолой)
Нет, естественно камеры ограничены природными условиями, также как любой датчик.
Мы определяем размеры и расстояния, с трекшеном также будут скорости объектов.
Комментарий недоступен
Ну что ж поделать)
Комментарий недоступен
Так может вы сами попробуете? Сейчас так много вакансий в области self-driving.
Комментарий недоступен
В таком случае мой комментарий с описанием, что такое сегментация будет вам полезен. Удачи!
Комментарий недоступен