Как разработать новые технологии для поиска потерявшихся людей

Поисково-спасательный отряд «ЛизаАлерт» получает в год 40 тысяч заявок на поиск пропавших людей. С 2018 года отряд применяет для поиска беспилотники и нейросеть. Организаторы инженерных соревнований Up Great предложили запустить совместный конкурс НТИ Up Great «Экстренный поиск» на создание таких систем. Герои этой истории рассказали, как БПЛА ищут людей, какие технологии уже есть, а каких не хватает, что разрабатывают участники конкурса и каких результатов ждут.

Пробные шаги мы делали в 2015 году. Но особым успехом они не увенчались. Только в 2018–2019 годах пошла активная работа: мы набрали операторов, усовершенствовали алгоритмы, улучшили группы просмотра и создали ИИ. С того времени мы ежегодно запускаем по 600 до 800 вылетов.

Сначала в отряд на горячую линию поступает заявка от родственников, МЧС, полиции или других служб. Мы ее обрабатываем: выясняем особенности поиска, собираем информацию и при необходимости выезда штаба на место поиска назначаем координатора. Он и решает, помощь каких направлений отряда потребуется. Если нужно, отправляет заявку на привлечение кинологов, беспилотников и даже вертолета.

Когда мы получаем заявку на беспилотники, то выясняем у координатора задачу и оповещаем пилотов региона, — кто может, принимает ее. Затем авиакоординаторы закрывают воздушное пространство. Вся подготовка для спасательных работ занимает буквально полчаса. И потом уже пилот выполняет задачу.

Много людей не нужно. С помощью планировщика софта один оператор может управлять четырьмя дронами, которые выполняют миссию по квадратам параллельно.

Например, отправляем беспилотники в поля с высокой травой, в бурелом, непроходимый лес или акваторию. Над плотным лиственным лесом стараемся не летать, — только над участниками с редкими деревьями или лесными болотами.

Например, поле 500 на 500 метров с высокой травой пешая группа из пяти человек прочешет за 5–8 часов. Это если там не будет болота и прочих опасностей. Беспилотник, который мы сейчас применяем, выполнит эту задачу за 8 минут.

Не всегда число найденных людей показывает эффективность. В 2021 году беспилотники обнаружили 28 человек, в 2022-м — 42, а в 2023-м — пока 26. Но если мы не нашли на поле человека — это значит, что его там нет, так мы экономим ценное время пеших отрядов и ускоряем поиск.

Десятки людей ежегодно находят беспилотниками. За полет над квадратом 500 на 500 метров беспилотник сделает 300–320 фотографий. Дальше нейросеть, которую мы разработали с «Билайном» в 2019 году, за 150 секунд проанализирует все эти материалы.

Недавно дедушка с деменцией ушел в лес. Мы отлетали задачу, поставленную координатором, ничего не нашли. И решили еще полетать в другом месте: показалось, что дедушка мог уйти туда. Связи на месте не было, поэтому не получалось передать фотографии в группу просмотра, как мы обычно это делаем. Хотя это было всего 50 км от Москвы, сеть не ловила.

На борту нейросеть информацию не обрабатывает — только на земле. Беспилотникам нужен подзаряд, через полчаса после взлета они возвращаются на замену батареи, и в этот момент мы меняем флешку. В беспилотник вставляем чистую и с заряженной батареей отправляем его дальше выполнять задачу. А ту, что со снимками, вставляем в ноутбук, и нейросеть офлайн эти снимки проверяет. Первые данные с флешки начинают обрабатываться через 30 с небольшим минут.

Процесс идет циклично: когда дрон прилетает на вторую замену батареи, снимки с первого полета уже отсмотрены.

Запустили сканирование нейросетью — нейронка находит дедушку. Часть одежды была снята, поэтому мы подумали, что это признак гипотермии. Когда человек замерзает, происходит непроизвольное сужение кровеносных сосудов кожи, человек ощущает «горячую вспышку» и срывает одежду.

Сначала мы расстроились, но на втором снимке у него рука в другом положении — шевелится, значит, на момент полета он был еще жив. Прошло чуть меньше часа, мы скорее отправились туда, спасли его и передали в реанимацию. Дедушка жив до сих пор. Если бы искали на ногах, скорее всего, история закончилась по-другому.

Мы используем беспилотники китайского бренда DJI. Начинали с древнего S1000. Он показал себя крайне неэффективно, но восемь лет назад обстановка с беспилотниками была сложной. Потом появились модели DJI Mavic, Mavic 2 и Mavic 2 Pro, Phantom и Enterprise Advanced. Есть также промышленные беспилотники этой компании. К примеру DJI Matrice 300 RTK (M300 RTK). Отечественные тоже есть — ижевской компании ZALA, но модель, которая у нас, слабо подходит под частые задачи. Еще «Альбатрос», тоже больше выставочный вариант.

Во-первых, не получится просто так приехать на поиск и полетать. Сначала нужно пройти предварительное обучение. Во-вторых, выезды новичков могут сделать хуже — они приносят устройства, с которыми невозможно работать, и мы тратим драгоценное время. В-третьих, поменялось законодательство — теперь все дроны должны быть на учете Росавиации. Без этого мы не можем закрыть под них воздушное пространство, а летать с нарушением закона не собираемся.

Мы откажемся от китайских беспилотников, когда найдем им хорошую российскую альтернативу. Сейчас есть компании, которые делают качественные аппараты, которые подходят под нужды отряда «ЛизаАлерт», но все упирается в цену. Если китайский беспилотник в хорошем комплекте, влагоустойчивый, с тепловизором и обычной камерой можно купить за 3 млн рублей, то российский с подобными характеристиками будет стоить уже порядка 20–30 млн.

Мы хотели бы пополнить наш беспилотный парк VTOL-суднами — беспилотниками вертикального взлета и посадки или конвертопланами. Но они не очень доступны по цене. Российские компании не достигли серийного выпуска — получается дорого. Мы даже задумываемся о самостоятельной сборке.

Самое ценное в беспилотнике не крылья и мотор, а полезная нагрузка. Основной инструмент для нас — это фотокамера.

Планируем вырезать нужный спектр для анализа полей и буреломов. Зачастую такая целевая нагрузка может стоить дороже самого беспилотника. К сожалению, в России, нужных производителей оптики единицы. Многие из них заточены под нужды Минобороны, до такого гражданке не добраться.

Нам предложили идею — мы подумали, что это может быть полезно. У нас есть большой опыт, мы понимаем, как это работает, как должно работать и как работать не будет.

Во-первых, мы обозначили острую проблему, о которой мало кто задумывается, пока не столкнется с пропажей родственников. Во-вторых, развивать направление беспилотной авиации очень перспективно. Помимо обычных поисковых работ, беспилотники можно применять в смежных направлениях, которые позволяют упростить и улучшить сам поисковый процесс. Например, мы можем поднять беспилотник и повесить на него ретранслятор для радиосвязи. Этот беспилотник не будет искать, но будет обеспечивать поисковиков связью там, где ее нет. Плюс можно в громкоговоритель предупреждать жителей, что идут поисковые работы.

Если беспилотник сможет работать на тех же скоростях и времени заряда, что и DJI, — уже хорошо, если сможет конкурировать по цене — вообще великолепно.

Еще мы ждем, что у участников получится сделать альтернативную нейросеть, которая будет работать хотя бы так же, как наша, а лучше — быстрее и эффективнее.

Мы проводим конкурс «Экстренный Поиск» в рамках Национальной технологической инициативы. Так мы создаем условия, чтобы разработчики небольших беспилотников продвинулись в развитии технологий ИИ и конкретно технического зрения. И все это в ходе задач поиска и нахождения людей с беспилотника, который на автопилоте выполняет полетное задание.

Сам беспилотник не так важен. Важно, чтобы на доступных на рынке технологиях собрать систему, которая сможет решить комплексную задачу. Поисково-спасательный отряд «ЛизаАлерт» — один из крупнейших эксплуатантов беспилотников по этой задаче.

Конкурс проходит в три этапа с постепенным увеличением сложности. Мы называем этапы сателлитами. Первый, чисто софтверный, — вообще без беспилотников. И это не случайно. Есть беспилотники, которые в автоматическом режиме совершают аэрофотосъемку с воздуха, создают модель местности, карту с высокоточными снимками. Но поиск людей пока не автоматизирован.

До конца июня участникам предстоит разработать нейросеть, которой нужно найти на снимках максимальное количество объектов с минимальным количеством ошибок. По результатам первого сателлита мы увидим, какие нейросети смогли максимально эффективно решить задачу.

Потому что любое нейросетевое решение с использованием ИИ нуждается в обучающей выборке. Это наш вклад как организаторов в развитие отрасли.

На втором этапе в августе пройдут натурные испытания. В одной из точек типичной средней равнинной российской местности нужно будет за 45 минут сделать 2–3 вылета и найти всех людей. Участники не будут знать, сколько людей надо найти, — это снижает фактор удачи и заставит всех участников разработать максимально надежные технологии, которые смогут обследовать всю местность. Самый значимый фактор для определения лучшего решения — точность. Кто найдет максимальное количество «пропавших», тот и получит больше баллов.

В финале соревнуются не только нейросети. Это будет единое решение, которое включает и беспилотник, и нейросеть. Беспилотники не регламентированы — это может быть любая коммерчески доступная машина. Не рассматриваем беспилотники на уникальном двигателе, который не производят серийно. Это может быть хорошее решение, но его нельзя масштабировать для практического решения задач в коротком горизонте.

Самосборные беспилотники подойдут, если все запчасти доступны серийно — производство такого аппарата наладить быстро. Возможны и VTOLы — самолеты с вертикальным взлетом, и другие аэродинамические схемы. Единственное ограничение — размер площадки для взлета, так как в полевых условиях взлетно-посадочной полосы и даже просто большой открытой ровной местности часто не найти.

Не самые мощные с технической точки зрения, зато очень бюджетные. Если они смогут на этих беспилотниках показать хороший результат во втором этапе и в финале конкурса, мы поймем, что их решение — хорошо тиражируемая технология.

Есть несколько факторов для второго и финального этапов:

Таким образом, уже на втором этапе мы выявим серьезные хорошие решения.

В первом, нейросетевом, сателлите три лучшие команды поделят пять миллионов рублей. Во втором сателлите три лучшие команды поделят 30 миллионов рублей. В финале приз будет уже очень существенный — 100 миллионов, которые разделят три лучшие команды. Их система должна найти не меньше 80% статистов, расположенных в поле.

Финальный этап запланировали на сентябрь. Условия похожи на второй этап, но время на поиски уменьшается с 45 минут до 30, плюс возможны более суровые погодные условия, потому что будет уже осень.

Помимо критериев второго этапа в финале учитываем стоимость системы: чем дешевле, тем больше бонусных очков получит команда. Беспилотник и наземная станция за 5 миллионов рублей с прекрасными результатами — это хорошо, но, если система ищет почти так же, а стоит существенно дешевле, — это важнее. Лучше купить два-три аппарата, чем один. 40 000 пропавших людей в год нужно искать с большим парком техники, в том числе с серьезным присутствием во всех регионах.

По условиям конкурса Фонд НТИ, как главный организатор, забирает наработки призеров (код, документацию, руководство пользователя) и передает лицензию в поисково-спасательный отряд «ЛизаАлерт».

Это очень важно, потому что даже при полном успехе конкурса нужно развивать точность и надежность дальше, а главное — дать возможность частным компаниям заработать на своих решениях, ведь дальнейшее развитие потребует гораздо больших денег, чем даже 100 миллионов призового фонда.