Нейросеть для конюшен и табунов: как мы собирали датасет с лошадьми для обучения нейросети

Запоминающихся моментов много: почти сорванный дедлайн, нейросеть для обучения другой нейросети и увеличенная в последний момент в 10 раз скорость сбора. Обо всем этом читай в новой статье NeuroCore.

Как компания, которая специализируется на нейросетях, мы привыкли выполнять разные заказы: от чего-то тривиального, по типу сбора картинок в интернете, до сбора датасета с драками, где мы примерили на себя роль уличных дебоширов. Но сегодня мы с вами остановимся на другом интересном кейсе, где мы решали проблему смешивания табунов.

Все началось несколько лет назад, когда к нам в компанию пришел заказ на реализацию проекта из неожиданной сферы. Заказчику требовалась нейросеть, которая смогла бы отличать одну лошадь от другой, чтобы понимать, не смешались ли лошади между табунами.

В рамках проекта мы пытались решить проблему смешивания табунов, где такой сценарий приносил с собой ряд минусов, но главным образом ставил под вопрос авторитетность вожака табуна: новые жеребцы могли бросить вызов доминирующему самцу, в результате чего страдало все стадо, т.к. привычный порядок вещей был бы нарушен.

Чтобы предупреждать такие ситуации клиенту потребовалась особая технология и инновационный подход к сбору данных лошадей. Что из этого вышло, читай дальше.

Для начала давайте поговорим о том, как работает биометрия в мире людей, а потом уже перейдем к нашим лошадкам.

Такие базы данных также помогают повышать безопасность. Биометрические системы могут распознавать посторонних лиц и реагировать на них адекватным образом, например, отправлять предупреждение или заблокировать доступ. Это может быть полезно в публичных местах или при охране конфиденциальной информации.

Кстати, на нашем сайте есть демо с технологией биометрии - каждый может поиграться и понять как работают такие нейросети. Данные никуда не передаем, у себя долго не храним - это только демонстрация технологии. Работает так:

Итак, давайте запомним все, что мы только что узнали и применим это же относительно наших лошадок. Иными словами, заказчику надо было, чтобы нейросеть создавала базу биометрических данных по каждой лошади, чтобы в момент когда лошадь оказалась перед камерой - нейросеть поняла что это за лошадь и из какого она табуна. При обучении такой нейросети, как правило, достаточно небольшого количества фотографий по пользователю: 5-10 штук. После этого нейросеть будет уверенно запоминать лицо пользователя и идентифицировать его в 99% случаев, даже если на нем маска или очки. Но т.к. в деле биометрии лошадей мы по факту являлись первопроходцами, мы ступили на неизвестную почву.

До того как ворваться в мир биометрии для лошадей, мы решили провести небольшой ресерч, чтобы понять - а получится ли вообще найти 10 000 различных лошадей и на каждую по 10 фотографий? Исследование результатов поисковой выдачи ресурсов по типу YouTube, TikTok, ВКонтакте и т.д. - показало, что материала достаточно.

Давайте остановимся на требованиях, которые были заданы заказчиком:

Закатав рукава, мы приступили к работе.

Использовались различные инструменты по поиску данных: парсеры, уже готовые датасеты изображений с лошадьми, а также ручной поиск. Но всё оказалось не так просто, как мы оптимистично оценили заранее: практически на всех ресурсах очень часто использовали один и тот же материал или одних и тех же лошадей, что сильно мешало сбору данных.

Также столкнулись с тем, что наши инструменты собирали одни и те же материалы, но с разными фильтрами, думая, что это разные лошади. Часто были материалы, которые не подходили или по качеству, или по ракурсу.

В процессе поиска команда невероятно сильно изощрялась, чтобы найти хотя бы что-то, к примеру:

Так прошло 2 месяца, за которые мы получили 30 000 изображений с 3 000 уникальными лошадьми (30% от целевого объема). В это время зловеще надвигались новогодние праздники, дедлайн уже изрядно поджимал, а заказчик хотел поскорее закрыть бухгалтерию за год.

С таким подходом мы получали в среднем ~500 подходящих изображений в день. Такой темп не позволял закрыть проект в оговоренные изначально сроки. Стало кристально ясно - пора что-то менять.

Когда казалось, что ничего уже не поделать: проект провален, репутация испорчена, а Галина Петровна из бухгалтерии вот-вот начнет слать проклятия на всех причастных к проекту - было принято решение пересмотреть подход, который демонстрировал малую эффективность.

В качестве быстрой меры, мы решили обучить нейросеть на уже полученных ранее материалах и внедрить ее в сбор. Мы обучили модель для детекции, которая определяла факт наличия лошади в кадре, а также проверяла главное условие - были ли видны 5 ключевых точек морды лошади.

Таким образом, мы выбрасывали лишние кадры, где морды не видно или видно не полностью, а на выходе получали идеальные кадры, которые сразу подходили для того, чтобы включить их в общий датасет.

Чтобы автоматизировать сбор еще больше, мы разработали Telegram-бота, которому можно было передавать архивы со всеми изображениями и видео, скачанными из Telegram-каналов, а бот в свою очередь, передавал данные для обработки нейронной моделью. Далее при идентификации уникальной лошади в видео или на фотографии - бот нарезал такие фотографии по отдельным папкам и сохранял в базу:

Оставалось лишь найти тематические Telegram-каналы, скачать из них медиаматериалы и скормить их боту для обработки.

С новым подходом за 13 дней поиска мы получили 70 000 изображений и 7 000 новых уникальных лошадей, минимум по 10 фото на каждую. Для сравнения:

Итак, с помощью нового метода сбора данных, основанного на наших предыдущих наработках, мы смогли собрать весь нужный материал, увеличив эффективность сбора в 10 раз. После этого не составило труда быстро разметить эти данные, обучить модель и предоставить нужный модуль заказчику.

Какие выводы можно сделать на основе этого кейса: