Мы уже больше года целенаправленно занимаемся разработкой ИИ для беспилотного управления транспортом. На сегодня наш ключевой проект — разработка беспилотного электрического шаттла.
Немного о нашей компании и концепте мы рассказывали в этой статье ранее:
Ralient-шаттл (R-shuttle) — это грузовой электрофургон, предназначенный для городской доставки (последней мили), а также для доставки в пригороде (город-область).
Для безопасной работы он должен уметь находить полосы движения независимо от качества и типа дороги, поэтому мы ставим в приоритет нашей разработки отсутствие необходимости разметки на дороге вообще.
Для нас важна возможность работы без свёрхточных карт, так как это значительно удешевляет эксплуатацию беспилотного электромобиля и позволяет быстрее внедрять его на новые рынки.
Большинство существующих систем беспилотного управления потеряют ориентацию в случае отсутствия разметки на дороге. В российских реалиях, где снег или слякоть лежит на дорогах шесть месяцев в году и не на всех дорогах в принципе есть качественная разметка, это особенно критично.
Наши шаттлы должны будут работать в том числе в российских или аналогичных условиях, а значит, мы должны находить полосу движения независимо от внешних факторов — так же, как это делает человек.
Мы разработали сверточную нейронную сеть для детекции полос движения, в том числе используя дорожную разметку. Изучив её результаты, пришли к заключению, что на участках, где линии были отчётливо видны, нейросеть показывала хорошие результаты, но там, где разметку было видно плохо, точность падала.
С такими результатами выезжать на настоящие дороги России небезопасно, поэтому мы решили использовать новый подход с аугментацией. Аугментация данных (data augmentation) — это методика создания дополнительных обучающих данных из имеющихся данных. Мы удаляли разметку с дороги там, где она должна была быть, и обучали нейросеть тем же образом. Нам пришлось научиться понимать, где есть точно дорога, а где другие участники движения.
Для удаления разметки нам было необходимо понимать, где границы дороги, а где другие объекты. После чего мы использовали компьютерное зрение и нейросети для удаления разметки.
Это позволило нам получать изображения, где мы искусственно стирали разметку.
В результате теперь наша нейросеть находит полосы движения независимо от того, есть разметка или её нет.
Мы считаем, что наш подход в создании беспилотного автомобиля наделяет его большим искусственным интеллектом.
Мы с нетерпением ждём плохой погоды в Санкт-Петербурге, чтобы собирать очередной новый датасет и проверять наши подходы в суровых условиях зимы, слякоти и так далее.
Подписывайтесь на наш Twitter, на мой Twitter, следите за нашим процессом работы.
Спасибо!
а в чем ценность статьи то? были фотки с разметкой была супер нейронка, убрали разметку и опять как-то работает ) про то что за сетка, как она устроена, почему она вообще хорошо будет работать, почему выбрали нейросеть - не говорится. возьмите видео с авариями с ютуба и прогоните их через ваш алгоритм, будет интересно глянуть. а если считаете, что у вас действительно, что-то хорошее вышло, запилите сервис, куда можно видео закинуть с регистратора и получить с разметкой ) к чему эта бесконечная полухудожественная болтовня.
Формально это статья не про то, как мы находим линии, а про наш подход, чтобы находить полосы движения, когда линий нет.
а как решаются ( и решаются ли) ситуации, когда разметки нет и происходит сужение дороги? на что опирается ИИ? на левый край дороги, на правый?
монотонность среды и знания стандарта обустройства дорожного полотна
Это предстоит еще протестировать и получить результаты. Не все кейсы мы пока испытали.
Что касается на что опирается самым правильным ответом будет - на все объекты вокруг машины, бордюры, края дороги, обочину и т.д.
Если вам интересно посмотреть это в динамике, посмотрите наше видео https://www.youtube.com/watch?v=SVmbrUHEJeU
о это уже интереснее. просто сейчас уже школьники учат нейронные сети, а по вашей статье не очень понятно насколько вы далеко зашли. ну стерли вы разметку, как-то обучились и что? я, например, не специалист по теме, но могу такую статью за пару недель наваять с картинками и показать как что-то учится, а чем-то интересным вы чет не поделились.
Хорошая работа!
Со взгляда дорожника такой продукт можно было бы использовать при нанесении разметки или анализе целесообразности ее нанесения в конкретном месте, сопоставив с условиями профиля дороги.
Не совсем подойдет, это не точный инструмент, то есть мы не меряем ширину дорогу и распределяем полосы (хотя такой вариант тоже возможен), мы создаем разметку исходя из ситуации вокруг, припаркованных машин, тротуара и т.д., то есть ориентируемся на то, на что человек ориентируется при вождении.
Какая структура сети?
что вот здесь помешало?
Наличие нанесенной стрелки и вставшего слева от нее автомобиля. Это частные случаи которые будем решать.
Я не до конца понял, ваш датасет состоит из фотографий? Тогда у яндекса в народных картах есть уйма фоток с регика за разные даты
Что легко может привести к выезду на встречку.
Как раз этот кейс и является сложным в роботах водителях. Ждём испытания роботов в условии пурги и переметенной дороги!
Там еще есть частый кейс для центра города, когда кто-то встал вторым рядом и для проезда осталось пол полосы и надо выезжать на встречку, чтобы проехать. Юридически - это выезд на встречку.
Тьма вопросов: например, ремонт дороги / теплотрассы - без нормальной организации работы и временного движения - со знаками и временной разметкой
Ага, а учитывая, что пока полноценный автопилот никто не сделал в мире, попытки этих питерских ребят кажутся немного наивными. Вопрос только - за чей счет банкет.
Чей банкет - не в курсе. Если найдёте их юрлицо - гляну в контур фокусе.
А насчёт наивных попыток - дык, не боги горшки обжигают! И в гугле такие же команды сидят и пилят автопилот. Наши условия довольно специфичные, не исключено соо и у нас выйдет неплохо.
Как Алиса распознаёт русский язык лучше и быстрее всех!)
ООО ИИ30 Автономные Транспортые системы
Я к тому, что многие компании начали еще десяток лет назад и до сих пор только Тесла катает более-менее прилично, но и то далеко не везде. А Тесла не только с камер распознает объекты, а еще и комплекс лидаров имеет, как без них Ralient собирается катать тележку - мне упорно не понятно.
Лидар - штука стандартная. Если распознал объекты округ камерой - измерить расстояние до него лидаром не так сложно.
А вот распознать объект на лидаре - сложнее чем на камере: это массив точек и разряженный.
Поэтому технологии на основе камер - вполне себе реальные. Мы же просто глазами смотрим.
Ещё один участник имеет отношение к Муромскому заводу трубопроводной арматуры. Контора с выручкой в 1.6млрд и некоторой прибылью. Видимо, они и финансируют
Спасибо. Однако даже с такой выручкой прибыли вряд ли хватит, чтобы сделать и тележку и автономный софт. Тут даже в российских условиях от сотни млн $ потребуется. А также годы разработок и сотни сотрудников. А у Ralient - всего год истории и десяток сотрудников.
обработка локальная или через облако?
Обработка локальная в реал-тайме. Разные объекты мы обрабатываем с разной скоростью. Облачные не используем, чтобы не было задержек и не зависеть от интернета.
Спасибо за интересную статью! Есть несколько вопросов.
1. Сетка читает дорожные знаки? Если нет, то как без разметки машина будет поворачивать на дороге как на картинке? Нет полосы, а потом появляется. Если не читает знаки то оффлайн карты все же используете, ограничения скорости, где поворот, разворот разрешен и т.д.?
2. Если знаки читает, то насколько быстро нейронка работает. Это ведь только по знакам уже дофига данных - знаки сверху, справа. А может не знак, а реклама вообще висит. На картинке внизу такую видно. она далеко, но издалека как раз таки по размерам как дорожный знак.
3. У вас только компьютерное зрение или еще лидары и датчики? Если только камеры, то как видит остальных участников дорожного движения, перестраивается, поворачивает - широкоугольные камеры на все четыре стороны? Если датчики + компьютерное зрение, то опять таки вопрос скорости распознавания где минимум 250 градусов нужно анализировать и какая видеокарта нужна на работу такой модели?
4. На фото без разметки чистое стекло. А когда разметку не видно это еще как правило ливень, снегопад и грязь летящая на лобовое стекло с впереди едущих, особенно с таких же - последней мили. Работает ли аугментация при таком раскладе?
Надеюсь на большую часть ваших вопросов ответит видео: https://www.youtube.com/watch?v=SVmbrUHEJeU
Что касается детекции знаков, FPS около 40, чего достаточно даже при больших скоростях. Камеры не единственный источник знаний, а лишь часть экосистемы, которая только в совокупности обеспечивает безопасность. Схема расположения всех сенсоров доступна у нас на сайте.
У нас был кейс с замутненным объективом камеры, на тот момент сетки показали приемлемые результаты, но наш инженерный отдел все равно ищет способы, чтобы избежать загрязнения датчиков.
Артем, а как бы с вами связаться приватно? Со мной, если что, tsuren(собачко)xmlshop(точко)com У меня для вас есть испытательный полигон.
Добрый день, видели ваше письмо на почте, ответим в ближайшее время. Спасибо!
Я так понял - распознавание делается камерами. А планируете объединять данные с лидаров? С радаров? Инфракрасные камеры?
Кмк в части computer vision самые большие перспективы у систем, умеющих делать адекватное дополнение данных с разных типов датчиков! И миксовать с известными данными: кусками точных карт, фактическими треками других роботов и тп.
Камеры это лишь часть всей экосистемы. Конечно же мы работаем и с другими датчиками. Данный пример работы именно с компьютерным зрением. Если интересно, схема расположения датчиков есть у нас на сайте.
Что касается совмещения данных с разных датчиков - это достаточно сложная часть всей разработки и мы получили уже определенные результаты.
Да, посмотрю. Любопытно)
Про совмещение: конечно - это сложная часть! Практических работающих технологий пока нет.
Кстати, разумно будет делать обмен данными датчиков и в целом - обмена данными между всем флотом машин. Думаю, из этого когда то и родится интернет для роботов: потому как именно в этом применении он точно нужен. Нет смысла каждому авто распознавать ремонт дороги и находить пути проезда. Роботы могут делится своими данным для облегчения жизни другим.
Интересный сценарий на трассе: при 5g можно будет делать «слепые» обгоны если трасса контролируется автомобилями впереди - которые ее видят.
Комментарий недоступен
Мы не закладываем ширину полос)
Комментарий недоступен