А вы что, и считать за меня будете?!

Вот удивился бы Вовка, столкнувшись в лесу Тридевятого царства с нашей ML-системой.

Машинное обучение (оно же – machine learning, ML) может применяться в разных сферах, в том числе и в лесной промышленности. Расскажем об одном из проектов, когда мы использовали ML при создании мобильного приложения для работы в полевых условиях – без Интернета и дополнительной подзарядки.

Один из наших клиентов обратился с нестандартным запросом – разработать приложение для измерения количества древесины и распознавания её параметров. Заказчик хотел внедрить ML-технологии, чтобы упростить задачу заготовки леса. В этом кейсе важно было не только исследовать возможности применения машинного обучения, но и сократить трудозатраты на реальных объектах, в частности, по фотографии маркировать пиловочник (спиленный лес), определять его размеры и вести подсчет спиленного леса.

И стали мы думать, как измерить диаметр ствола дерева? Нужно ли включать в расчет кору дерева? Как быстро измерить все стволы в штабеле, если у лесника на это уходит больше часа рабочего времени? Что делать, если нужно измерить массив леса?

Чтобы ответить на эти вопросы, до старта разработки требовалось проверить гипотезу – можно ли уместить алгоритм в мобильное решение и при этом экономно расходовать объем памяти устройства и заряд батареи. Поскольку все измерения будут проводиться «в поле», вернее, в лесу, специалистам важно иметь под рукой приложение, работающее без подключения к Интернету.

Клиента интересовали две основные задачи:

Вопросов было больше, чем ответов. Поэтому мы начали с предпроектного исследования и вместе с заказчиком наметили основные задачи:

В ходе предпроектных исследований мы создали несколько тестовых образцов меток для деревьев в виде картонных кругов – позже клиент предполагал использовать RFID-метки (Примечание. Они содержали информацию о дереве: тип, размер, диаметр, координаты, а также дату и время сканирования). Сфотографировали деревья в разных ракурсах и начали применять существующие алгоритмы распознавания.

Метки были обнаружены в 80% случаев (Примечание. Это позволило понять, что задача реализуема. Забегая вперед, скажем, что в ходе реализации проекта мы достигли 100%). Алгоритм распознавал центр и радиус метки по количеству пикселей и координатам – в зависимости от качества фотографии.

После успешных тестов на Python команда проекта приступила к переносу алгоритма в мобильное приложение.

Однако после перевода алгоритма на Java обнаружились «сюрпризы». В частности, цвет метки в мобильном приложении изменился, появились ложные метки, а также изменился размер. Опытным путем мы выяснили причины – при переносе изменился размер фотографии, добавился прозрачный слой, а формат стал не RGB, а BGR (тип субпиксельного макета). В итоге приняли решение продолжить работу и дописывать мобильное приложение, а для корректного отображения с помощью специальных программ конвертировали все изображения в нужный формат.

На следующем этапе нужно было проверить работу мобильного приложения в реальной практике на устройствах, которые используют лесники – в разное время года при разных типах освещения и на разных породах деревьев.

Нашей команде предстояло обучить алгоритм распознавать дерево в двух форматах:

Для обучения потребовалось около 300 фотографий: по 100 – для обучения, повышения точности и конечной обработки. У каждой должны были быть проведены замеры реального ствола. Это было необходимо, чтобы обучить алгоритм.

Тут мы столкнулись сразу с несколькими проблемами:

Изменение центровки метки на спиле ствола. По технологическим причинам стало невозможно располагать метку в центре ствола и пришлось переобучать алгоритм заново распознавать метку, размещенную в любом месте круга.

Для обучения алгоритма использовали несколько шагов, чтобы получить более точные замеры:

Каждая доработка алгоритма добавляла «вес» приложению, но при этом мы старались добиться точного измерения диаметра ствола.

Комбинация методов и упор на качестве позволили обучить алгоритм измерять диаметры стволов со средней ошибкой в 2 см от реального размера, измеренного вручную.

В начале проекта заказчик и команда были уверены в использовании круглых RFID-меток для подсчета леса, но в процессе обучения клиент предложил использовать длинную линейку. Выглядело бы это так: лесник прикладывает к стволу дерева линейку, делает фото, а система определяет диаметр.

Но и в этом случае без ошибок не обошлось – в некоторых случаях качество фото не позволяло сделать замеры. В результате мы создали для лесников рекомендации, чтобы в кадр не попадали лишние предметы и руки, а фото было не размытым. Так алгоритм мог определить ствол.

Чуть позже за основу измерений было принято решение брать самое узкое место. Это позволило после нескольких тестов получать результат измерения диаметра ствола с помощью одного мобильного устройства. При этом вся информация сразу же сохранялась в память телефона и при наличии Сети отправлялась на веб-сервер заказчика.

За 3,5 месяца клиент получил MVP приложения, которое помогло:

В планах продолжить работать над новыми задачами:

Если предпочитаете видеоформат, об этом кейсе рассказывали тут.

В начале мы говорили про использование ML в разных сферах. Вот некоторые примеры использования машинного обучения для реализации некоторых задач:

Наша команда разработала систему по распознаванию текста газет, изданных в XIX веке – приложение для поиска родственников и составления генеалогического древа. Команда проекта обработала в общей сложности около 650 млн газетных страниц и создала 7 ML-моделей. Подробнее рассказывали здесь.

Для одной из страховых компаний создали решение по автоматизации процесса работы с пациентом c помощью машинного обучения. Заказчик получил систему, которая помогает выявлять нестраховые случаи, дает рекомендации для пациента после выписки, прогнозирует его состояние и самочувствие спустя 30, 60 и 90 дней.

Наша команда работала над системой, которая может подсказывать и предотвращать инциденты за 10-15 минут до их наступления и предупреждать персонал. Это помогает клиенту обеспечить стабильную работу сервиса.

Подробнее про ML и областях его использования рассказывали здесь. Если остались вопросы, пишите нам в Telegram. Другие кейсы можете посмотреть в нашем портфолио.