Хакатон про ИТС: лайфхаки онлайн презентаций, или как Neurocore стала супергероем в кейсе видеоаналитики

Апрель 2020 года. К нам в офис, также как и к предпринимателям по всему миру, стала стучаться пандемия Covid’a, что подкосило экономику многих стран и нанесло ощутимый удар практически по всем направлениям бизнеса. В том числе серьёзные убытки понесли и наши якорные заказчики — компании, обслуживающие аэропорты, с которыми мы еще неделю назад обсуждали проекты на ближайший год…

Активные кейсы завершались с большим трудом, так как приходилось выстраивать процессы по-новому буквально на ходу. А новые этапы, пресейлы и вовсе ушли в закат – компании пытались удержаться на плаву благодаря всем имеющимся ресурсам. Идти на риски, связанные с внедрением интеллектуальных систем мало кто был готов.

В этот момент одна из команд Neurocore на последний незамороженный из-за Covid'a бюджет тестировала Ai-систему для аэропортов, и приходило понимание, что в ближайшее время доп. работ не предвидится. Тогда мне и пришла идея подать заявку на участие в хакатоне Digital Super Hero – совместный проект Республики Татарстан и группы компаний InnoSTage. Мы с командой давно планировали залететь в подобные мероприятия, а вот и подвернулся подходящий момент.

Проведение хакатонов преследует множество целей. Они позволяют получить заказчику несколько альтернативных вариантов решения конкретной бизнес-задачи, дают возможность молодым компаниям набраться опыта в работе с реальными клиентами, а также знакомят спонсоров с новыми кадрами и перспективными проектами для вложений.

Тема хакатона, в котором принимала участие наша команда, была связана с организацией безопасности дорожного движения на региональном уровне. Перед участниками стояла задача по созданию аналитических моделей для управления «умной» транспортной системой, а также усовершенствования и развития информационно-аналитической платформы «Ситуационный центр».

Хакатон включал в себя несколько направлений и заданий внутри. Первым из них в нашем направлении оказалась задача по разработке алгоритма распознавания регистрационных знаков транспортных средств, а также определения их типа и марки. В ходе подготовительной части команда организаторов поделилась с нами фотографиями автомобильных номеров и марок машин для решения задачи распознавания с камер на дорогах и для их классификации, чтобы было реально успеть решить задачи, а не только потратить время на поиск картинок и их разметку. Для достижения поставленной цели нами было выделено 3 подзадачи, которые обозначили порядок работы над проектом:

• Написание веб-сервиса, которыи будет принимать POST запрос с изображением транспортного средства и отправлять результат обратно;

• Написание алгоритма обнаружения и распознавания государственного регистрационного знака на изображени;

• Написание алгоритма распознавания марки, модели и типа транспортного средства.

Веб-сервер, получив запрос, должен передать изображение алгоритмам определения положения ГРЗ относительно левого верхнего угла (координаты левого верхнего угла и правого нижнего угла ГРЗ), марки, модели и категории транспортного средства. Допускается использование нескольких моделеи неиронных сетеи и алгоритмов для решения подзадач. Результат работы возвращается веб-сервером в виде JSON.

*ГРЗ — государственный регистрационный знак

В качестве исходных данных использовались размеченные изображения автомобилеи с готовыми метаданными, а также изображения государственных регистрационных номеров, вырезанных из общего изображения автомобиля. Веб-приложение должно быть выполнено в соответствии с архитектурои REST и принимать изображения в формате jpeg посредством POST запросов. Ответом на запрос должны быть данные в формате JSON, содержащие информацию о параметрах ТС на полученном изображении. Кусочек нашего решения по этой части:

Вторым заданием же была разработка алгоритма видеоаналитики транспортных потоков. В рамках которого нужно было провести интеллектуальныи анализ наблюдаемои на участке дорожного полотна ситуаций, связанных с ДТП. Для реализации данной части задания также был выделен ряд задач:

• Реализовать обнаружение объектов следующих классов: автомобиль, пешеход, грузовик, автобус, мотоцикл, велосипед.

• Реализовать отслеживание обнаруженных объектов.

• Реализовать автоматическии сбор информации из видео: подсчет объектов различных классов, определение зон появления и исчезновения объекта в кадре, подсчет объектов в зависимости от направления движения, определение количества объектов в кадре на текущии момент времени, определение загруженности перекрестка.

• Реализовать систему выявления инцидентов.

Система видеоанализа должна вывести исходное видео с результатами обнаружения различных классов и их отслеживания (трекинга). Сохранять следы движения ТС на изображении. Сохранять в фаил статистику по транспортным средствам: количество объектов различных классов за все время обработки, количество объектов различных классов в зависимости от направления движения (от зон появления до зон исчезновения) и количество объектов различных классов на текущии момент времени для определения загруженности перекрестка. При обнаружении на видео ДТП или затора выдавать соответствующее сообщение.

В качестве исходных данных нам были предоставлены 2-х часовая видеозапись движения транспортных средств с 10 перекрестков и 130 видео нарезок с дорожно-транспортными происшествиями в пределах перекрестков. А вот и одно из них:

Задач было много, но мы и не думали сдаваться. Разделили обязанности и готовились к завершению первого этапа — независимому тестированию со стороны экспертного жюри. Всем участникам на разработанный веб-сервер подавались фотографии машин в количестве 1000 штук и выдавался файлик с итоговыми результатами. Была простая методика подсчета баллов по каждому снимку, где за каждое верное распознавание прибавлялся один. В итоге мы получили следующие результаты:

Мы еще никогда не были так близко, но кроме итогов тестирования по первой задаче впереди была еще презентация общих результатов по всем задачам направления ИТС перед жюри. Было волнительно, но мы провели уверенное демо, показав еще и результаты по второй задаче с анализом ДТП. Вторая команда тоже не отставала, мы увидели их презентацию и думали, что уже всё для нас завершится на этом этапе. К тому же команда была из Казани и мы были уверены, что все роли отлично разыграны (организатор — Казань, КАИ — Казанский институт). Но в итоге все наши предрассудки исчезли, когда в общем чате был опубликован заветный список финалистов:

До итоговой презентации оставалось меньше суток, и мы решились на рискованных шаг – полностью переделать логику нашего выступления и не прогадали. Хотели укрепить слабые стороны в выступлении и расставить иначе акценты, выделяя наши сильные стороны. Следующие сутки команда Neurocore провела практически без сна – мы старались учесть опыт всех предыдущих выступлений и определили для себя следующие важные моменты, которые помогли не ударить в грязь лицом:

Для каждого слайда презентации мы написали дословный сценарий и стали записывать на видео части выступления, соединяя нарезку воедино, чтобы точно попасть в границы регламента, вместив наибольший объем смысла в нём. В конце презентации мы добавили слайды с вариантами практического применения наших наработок. В итоге готовое видео мы успели собрать лишь минут за 20 до нашего выступления. Кажется, что получилось неплохо, им даже можно насладиться тут (2:23:00+).

Наши труды оказались не напрасными, и хорошо продуманная презентация сыграла свою роль в достижении заветной цели: «Победителем нашего онлайн-хакатона становится команда...Neurocore…Жюри отметило высокую техническую проработанность решения».

Слов в момент объявления результатов ни у кого не было, мы всё ещё не верили в происходящее, что победа досталась нам. Денежный приз оказался очень кстати на момент пандемии, но также были интересными и возможности участия в программах фондов и акселераторов, куда пригласили всех финалистов, а также знакомства с бизнес-заказчиками. Правда для наших «конкурентов» всё-таки придумали отдельную номинацию — «ready to use» — хотя мы тоже были более чем реди...

Однако участие в хакатоне принесло нам не только финансовый профит, но и пользу в долгосрочной перспективе. Спустя некоторое время, на основе наработок хакатона решение по распознаванию номеров было допилено до продакшн версии. Нам удалось интегрировать его в мобильное приложение для автоматизации процесса оплаты парковки на территории ТЦ "Ереван Плаза" в обход паркомата. Фиксируем время въезда и выезда автомобильного номера, открывая шлагбаум на выезд после совершения успешной оплаты:

Вот так мы с пользой скоротали рабочую неделю и пережили кусочек пандемии, не поддаваясь панике и самоизоляционной скуке. Подводя итог, хочется также сказать, что мероприятия подобные хакатонам — это отличная возможность для начинающих команд проявить себя и набраться опыта в работе с реальными задачами бизнеса. Навыки презентации своих проектов на совершенно разных по своей направленности площадках позволят опробовать свои силы в альтернативных направлениях, набраться дополнительного опыта и открыть для своей команды новые точки роста. Помимо этого, техническая и информационная база хакатонов (например, нетворкинг, готовые датасеты, на самостоятельный сбор и разметку которых могла бы уйти львиная доля времени) позволяет экономить ресурсы и создавать отраслевые решения, развитие которых в дальнейшем может принести реальную выгоду вашей компании.

#machinelearning #computervision #видеоаналитика #хакатон #neurocore #datascience #машинноеобучение #компьютерноезрение