Как мы научили ИИ искать полосу движения при отсутствии дорожной разметки

Мы уже больше года целенаправленно занимаемся разработкой ИИ для беспилотного управления транспортом. На сегодня наш ключевой проект — разработка беспилотного электрического шаттла.

Немного о нашей компании и концепте мы рассказывали в этой статье ранее:

Ralient-шаттл (R-shuttle) — это грузовой электрофургон, предназначенный для городской доставки (последней мили), а также для доставки в пригороде (город-область).

​Прототип R-shuttle
​Прототип R-shuttle

Для безопасной работы он должен уметь находить полосы движения независимо от качества и типа дороги, поэтому мы ставим в приоритет нашей разработки отсутствие необходимости разметки на дороге вообще.

Для нас важна возможность работы без свёрхточных карт, так как это значительно удешевляет эксплуатацию беспилотного электромобиля и позволяет быстрее внедрять его на новые рынки.

Большинство существующих систем беспилотного управления потеряют ориентацию в случае отсутствия разметки на дороге. В российских реалиях, где снег или слякоть лежит на дорогах шесть месяцев в году и не на всех дорогах в принципе есть качественная разметка, это особенно критично.

Наши шаттлы должны будут работать в том числе в российских или аналогичных условиях, а значит, мы должны находить полосу движения независимо от внешних факторов — так же, как это делает человек.

Мы разработали сверточную нейронную сеть для детекции полос движения, в том числе используя дорожную разметку. Изучив её результаты, пришли к заключению, что на участках, где линии были отчётливо видны, нейросеть показывала хорошие результаты, но там, где разметку было видно плохо, точность падала.

Как мы научили ИИ искать полосу движения при отсутствии дорожной разметки

С такими результатами выезжать на настоящие дороги России небезопасно, поэтому мы решили использовать новый подход с аугментацией. Аугментация данных (data augmentation) — это методика создания дополнительных обучающих данных из имеющихся данных. Мы удаляли разметку с дороги там, где она должна была быть, и обучали нейросеть тем же образом. Нам пришлось научиться понимать, где есть точно дорога, а где другие участники движения.

Для удаления разметки нам было необходимо понимать, где границы дороги, а где другие объекты. После чего мы использовали компьютерное зрение и нейросети для удаления разметки.

Как мы научили ИИ искать полосу движения при отсутствии дорожной разметки

Это позволило нам получать изображения, где мы искусственно стирали разметку.

Как мы научили ИИ искать полосу движения при отсутствии дорожной разметки
Как мы научили ИИ искать полосу движения при отсутствии дорожной разметки

В результате теперь наша нейросеть находит полосы движения независимо от того, есть разметка или её нет.

Как мы научили ИИ искать полосу движения при отсутствии дорожной разметки
Как мы научили ИИ искать полосу движения при отсутствии дорожной разметки
Как мы научили ИИ искать полосу движения при отсутствии дорожной разметки

Мы считаем, что наш подход в создании беспилотного автомобиля наделяет его большим искусственным интеллектом.

Мы с нетерпением ждём плохой погоды в Санкт-Петербурге, чтобы собирать очередной новый датасет и проверять наши подходы в суровых условиях зимы, слякоти и так далее.

Подписывайтесь на наш Twitter, на мой Twitter, следите за нашим процессом работы.

Спасибо!

5858
35 комментариев

а в чем ценность статьи то? были фотки с разметкой была супер нейронка, убрали разметку и опять как-то работает ) про то что за сетка, как она устроена, почему она вообще хорошо будет работать, почему выбрали нейросеть - не говорится. возьмите видео с авариями с ютуба и прогоните их через ваш алгоритм, будет интересно глянуть. а если считаете, что у вас действительно, что-то хорошее вышло, запилите сервис, куда можно видео закинуть с регистратора и получить с разметкой ) к чему эта бесконечная полухудожественная болтовня.

14
Ответить

Формально это статья не про то, как мы находим линии, а про наш подход, чтобы находить полосы движения, когда линий нет.

4
Ответить

Если вам интересно посмотреть это в динамике, посмотрите наше видео https://www.youtube.com/watch?v=SVmbrUHEJeU

2
Ответить

Хорошая работа!
Со взгляда дорожника такой продукт можно было бы использовать при нанесении разметки или анализе целесообразности ее нанесения в конкретном месте, сопоставив с условиями профиля дороги.

2
Ответить

Не совсем подойдет, это не точный инструмент, то есть мы не меряем ширину дорогу и распределяем полосы (хотя такой вариант тоже возможен), мы создаем разметку исходя из ситуации вокруг, припаркованных машин, тротуара и т.д., то есть ориентируемся на то, на что человек ориентируется при вождении.

Ответить

что вот здесь помешало?

1
Ответить

Наличие нанесенной стрелки и вставшего слева от нее автомобиля. Это частные случаи которые будем решать.

1
Ответить