Кто на ком женился и сколько у них котят: как нейросети помогают изучать и сохранять снежных барсов

23 октября — Международный день снежного барса. Как фотоловушки могут рассказать историю жизни барса, зачем мы разработали нейросеть для распознавания барсов и как защитить этих краснокнижных животных — рассказывают директор Сайлюгемского национального парка Денис Маликов и архитектор ML-сервисов Yandex Cloud Дмитрий Рыбалко.

Снежный барс, или ирбис, — один из самых редких и малоизученных видов больших кошачьих. В России их осталось не больше 90, и 24 из них находятся в национальном парке «Сайлюгемский» на Алтае.

Барс единственный из больших кошек живёт так высоко в горах: в основном от 2500 до 3000 м, а иногда и до 6000 м. Тело ирбиса приспособлено к подобным условиям: это гибкое и грациозное животное среднего размера с большим пушистым хвостом. Хвост помогает балансировать, когда нужно прыгать по скалам при охоте, а ещё барс использует его в холодную погоду в качестве одеяла.

Барс обитает только в 12 странах, где есть горные массивы, в том числе в Монголии, Киргизии, Казахстане, Таджикистане, Узбекистане, Китае, Непале и Индии.

В России живёт не более 2% снежных барсов. Все они находятся в Сибири: на Алтае, в Тыве, Бурятии и Красноярском крае. Но потенциально барсу подходит гораздо больше территорий в нашей стране — просто с текущей численностью он не может их занять.

Всего в мире от 4000 до 7000 барсов. Последние несколько лет в России ведётся качественный мониторинг, но барсы перемещаются между странами, поэтому при наблюдении важно международное сотрудничество. В некоторых странах не хватает специалистов и финансирования: где-то мало автоматических камер — фотоловушек, а бывает, что фотоловушка есть, а отсматривать её некому.

Снежного барса занесли в международную Красную книгу в 1986 году. Сначала он числился там как вымирающий вид. Такой статус животным присваивают, когда осталось менее 2500 особей и их количество сократилось более чем на 20% за последние два поколения. В 2017 году снежного барса перевели в статус уязвимого вида — когда особей менее 10 тысяч.

Это значит, что:

Снежные барсы страдают как от природных изменений, так и от человека.

Чтобы сохранить животное, его нужно досконально исследовать. А ирбисов очень сложно изучать. Они обитают в труднодоступных местах, ведут сумеречный образ жизни и охотятся поодиночке.

Больше всего в исследовании и сохранении вида помогают особо охраняемые природные территории, в том числе заповедники и национальные парки.

Чтобы понять, где создать такую территорию, тоже нужно исследовать места обитания и численность животных. Для ирбиса существуют такие подходы:

В Сайлюгемском национальном парке 170 фотоловушек. На одной может быть до 5000 кадров, но релевантными обычно бывают 10-30%. Помимо исследуемых животных, камера фиксирует пролетающих птиц и даже просто колыхание травы. На то, чтобы вручную найти барсов среди тысяч изображений, у учёных иногда уходят недели.

Поэтому для автоматизации распознавания данных из фотоловушек нужны специализированные программы. Подобные решения уже используются для отслеживания распространения растений и экомониторинга Байкала.

Вместе со студентами Школы анализа данных Яндекса (ШАД) мы создали нейросеть, которая всего за несколько секунд обрабатывает снимки из фотоловушек и находит на них животных.

Мы обучили модель на массиве из 40 тысяч фотографий и фрагментов видео общим объёмом 150 ГБ. С разметкой данных нам помогали участники проекта Yandex U-Team. Мы показывали нейросети 10 видов животных: барса, лису, волка и других — для каждого как минимум по 1000 фотографий.

Фотографии без животных тоже использовали — для обучения и проверки качества. Кроме того, для начала сотрудники национального парка как раз хотели найти пустые фотографии, которые не надо отсматривать.

Мы использовали архитектуру YOLO (you only look once), одну из самых популярных для распознавания объ­ектов на изоб­ражениях.

Далее мы начали обучение и оказалось, что модель не справляется с ночными снимками. Тогда мы взяли ещё одну нейросеть и дообучили её на ночных кадрах — их было примерно 30%. Теперь две модели работают вместе. Написанный нами скрипт по пикселям определяет, день или ночь на фото, и отправляет изображение в соответствующую нейросеть.

Облачные технологии позволяют проводить много экспериментов и быстро обучать модель. Нейросетям нужны большие вычислительные мощности — держать такие серверы в локальной инфраструктуре слишком затратно.

В проекте участвуют шесть человек: я, доцент Высшей школы экономики Дмитрий Сошников и четыре студента ШАДа. Чтобы было удобно работать над проектом всей командой, мы использовали сервис Yandex DataSphere. Он позволяет вести командную разработку в среде JupyterLab, удобно обмениваться данными, запускать много экспериментов. Каждому участнику не нужно заново настраивать окружение под себя — достаточно один раз собрать образ со всеми необходимыми библиотеками и поделиться им с командой.

Для хранения фотографий и фрагментов видео из национального парка мы используем объектное хранилище Yandex Object Storage. Обработка данных и обучение модели происходит в Yandex DataSphere. Один «круг» дообучения нейросети на 10 тысячах изображений занимает 5–6 часов. Для совершенствования модели таких кругов нужно много: мы выделяем недочёты в текущей итерации и запускаем новый эксперимент.

А чтобы сотрудники парка могли загружать изображения и по кнопке запускать распознавание, мы развернули простое приложение в Yandex Compute Cloud. В результате приложение распределяет картинки по папкам в соответствии с видом животного.

На следующем этапе нейросеть научится определять на снимках конкретные особи барсов по уникальному рисунку на шерсти или по другим параметрам, которые она сама выделит как отличительные. А дальше — будет распознавать ещё больше животных. Например, сейчас в кадр часто попадают птицы и мыши — нейросеть научится определять и их.

Будем повышать точность распознавания. Мы можем брать с видео дополнительную информацию о времени съёмки. И если нейросеть случайно ошибётся с животным, то по другим распознанным кадрам, сделанным в то же время, мы поймём, кто на изображении.

Также хотим добавить визуализацию на карте. По времени снимка и геолокации мы можем определять, когда и где находились животные. Учёные смогут собирать статистику об обитателях парка, строить карту их излюбленных мест, изучать маршруты их передвижения.

Нейросеть можно дообучать и использовать для наблюдения за любыми животными. Это поможет учёным объективно оценивать размер популяции и разрабатывать меры по защите вида — быстро и на основе больших объёмов данных.

Подписывайтесь на Telegram-канал Yandex Cloud, чтобы узнавать еще больше новостей и историй о команде.

Другие истории наших партнеров и клиентов, которые активно читают наши подписчики: