Нейросеть против ДТП: как мы разработали искусственный интеллект, чтобы обезопасить поездки в автобусе

Уже несколько лет человечество активно внедряет автоматизированные системы с участием нейросетей в свою повседневность. Вопреки расхожему мнению, не только компании извлекают из этого выгоду, но и обычные люди. Система, о которой мы сегодня расскажем, преследует цель сделать жизнь людей безопаснее и удобнее. Сколько времени человек проводит в общественном транспорте? Какие нарушения совершают водители? Можно ли повысить безопасность поездок за счет нейросетей? Ответы в новой статье NeuroCore.

Неотъемлемой частью нашей жизни является перемещение между различными локациями — будь то дорога из дома в офис, поход в магазин или туристическая поездка в другой город. Чаще всего подобные передвижения связаны с использованием различных видов транспорта. Статистика показывает, что в среднем, в зависимости от профессии, человек проводит в транспорте порядка 2 часов в день. Если взять 60 лет (21900 дней) и умножить на 2 часа в день, то из 60 лет мы получим 5 лет, которые проведем в дороге.

Таким образом, в среднем порядка двух часов в сутки жизнь людей, передвигающихся на автобусах находится в руках другого человека – водителя. По данным сайта RusDTP. ru, с января по декабрь 2023-го, в стране произошло 7110 аварий с участием автотранспорта общего пользования, осуществляющего автобусные перевозки. Это почти показатели прошлого года, за который в ДТП попало 7166 автобусов. Для 602 людей эта поездка стала последней, а 10 910 человек получили ранения разной степени тяжести. Большинство аварий произошло по вине водителей.

После такой статистики невольно задаешься вопросом: а как можно сделать поездки безопаснее? Как предотвратить ДТП? Может быть водителю нужен второй пилот, как в авиаперевозках? И мы нашли решение.

К нам в компанию обратился Системный интегратор с запросом на разработку нейросети, зная, что у нас уже был похожий опыт с системой контроля усталости для операторов досмотрового оборудования в аэропортах.

Мы начали участвовать в проекте по отслеживанию "запрещённых" состояний водителя с апреля 2020 года. Первое, что предстояло понять - это метод монтажа компьютера в автобус.
Изначально мы планировали переложить уже имеющий прошлый опыт и разместить полноценный ПК с GPU 1080ti, чтобы не прибегать к дополнительной оптимизации алгоритмов. Однако нам сразу же пришлось отказаться от данного подхода: мы узнали, что такие мощности будет неоткуда питать внутри автобуса.

Мы начали смотреть в сторону Jetson от Nvidia. Для пилотного проекта было трудно предсказать какая модель окажется подходящей, поэтому мы решили сразу подстраховаться и взять Jetson AGX Xavier Developer Kit.

Разработанная нами система мониторит состояние водителя с камеры видеонаблюдения и уведомляет звуковым сигналом о моментах, в которых человек отвлекается или начинает терять бдительность. Схема такой системы представлена на графике ниже:

Пока наши инженеры занимались проектированием системы для интеграции в автобус, мы начали думать над тем, где нам найти данные для обучения алгоритмов компьютерного зрения. Поиски в открытых источниках на платформе Kaggle и в видеоматериалах на разных платформах оказались безуспешными. И мы решили собрать их самостоятельно.

ТЗ на сбор ставило перед нами задачу записать следующие виды нарушений:

Кроме того, требовалось повторить каждый из пунктов выше:

NeuroCore достаточно часто приходится решать нестандартные задачи по сбору данных, поэтому этот случай не был для нас большим испытанием.

Для сбора данных в этом проекте была собрана команда людей, которые приезжали на автобазу и снимали данные по сценарию. Вот несколько из сцен данного перформанса:

Часть съемок мы проводили в ночное время с помощью камеры с ИК подсветкой.

С собой необходимо взять: несколько кепок, шапку, бандану, очки солнечные, очки для зрения, очки с бликовым покрытием, пачку сигарет, 5 моделей телефонов визуально отличающихся друг от друга.

И вот, данные собраны, теперь их предстоит разметить. Параллельно с этим был согласован технический паспорт монтажа нашей системы в автобус ЛиАЗ 529222:

Монтаж был успешно завершен и мы начали собирать статистику о нарушениях в реальном времени через админ-панель. Система прижилась в верхнем отсеке кабины водителя:

Первые сложности, с которыми мы столкнулись и как их решили:

1. Согласования. Довольно сложно было согласовать паспорт монтажа и отразить простым языком сотрудникам автобусного парка суть системы. Исходя из опыта, в общении людьми вне контекста рекомендуем не использовать сложные термины и объяснять просто: что, зачем и какая из этого будет миру польза – без сложных терминов и слов.

2. Найти автобус. Сложно было поймать автобус без рейсов, так что монтировать и вносить обновления в систему на объекте приходилось только ночью.

3. Интернет-соединение. Модем интернета не вытягивал глобальных обновлений и только съедал наше время и нервы при обрыве соединения. По итогу обновления загружали тоже по ночам. После того, как система была успешно замонтирована, откалибрована – мы стали собирать статистику. Увы, но мы были неприятно удивлены.

Опустим факт отсутствия масок в разгар пандемии, так как хоть это и являлось нарушением регламента, но было далеко не главным нарушением со стороны водителей. Зачастую кто-то разговаривал по телефону на скорости (её мы замеряли с помощью GPS трекера и также передавали в админку + визуализировали на видео). Часто было такое, что водитель сидел в мобильном телефоне на скорости порядка 40 км/ч с неподдельным интересом с кем-то вёл переписку:

Поначалу мы в качестве эксперимента распознавали сразу тип события, но позже для оптимизации и перехода на более бюджетную железку (Jetson Nano) сделали фиксацию лишь двух важных событий: отвлечение и сонливость. А далее уже на сервере стали проводить дальнейшую классификацию конкретных типов нарушений, что значительно помогло нам сократить потребляемые мощности и перечень ложных срабатываний системы за счет упрощения логики определения нарушений.

В дальнейшие планы входит повышение удобства пользования при работе с MVP, развитие удобства использования административной панелью, а также управление звуковыми оповещениями, их гибкая настройка.

По итогам завершения пилотного проекта на территории московской области нам удалось сократить количество нарушений с участием автобусов на 18% уже в первые месяцы внедрения системы.

Использование технологий искусственного интеллекта, таких как машинное обучение и обработка изображений, значительно улучшит эффективность и безопасность автобусных перевозок. Внедрение таких инноваций позволит повысить уровень автоматизации в работе водителя, улучшить систему контроля транспорта, и обеспечить дополнительные средства безопасности для пассажиров.

Получить комплексное решение, наиболее точно адаптированное к потребностям конкретной автобусной компании – можно по этой ссылке.