Зачем предсказывать урожай или как нейросеть научилась считать яблоки

Рассказываем, что такое точное садоводство, зачем фотографировать яблоки с робоплатформы и считать их с помощью облачных технологий, а также как учёные и практики объединились для спасения урожая в российских садах.

По данным из статистики Росстата и Плодоовощного союза, разрыв между спросом и предложением в производстве яблок в России составляет более 2,5 миллионов тонн в год. При этом по российские хозяйства могут терять до 40% плодов. Одна из причин – отсутствие методов точной оценки величины урожая. Сейчас при планировании урожая агрономы вынуждены полагаться только на собственный опыт и крайне ограниченный набор данных. Отрасль давно нуждается в автоматизированных системах, которые дадут ранний прогноз урожая с точностью более 80% и будут постоянно его актуализировать. Кроме этого, хозяйствам нужен единый подход к планированию ресурсов и организация сквозного процесса производства плодов. В разных странах мира эти задачи помогает решить «точное садоводство».

Точное садоводство – это комплексная высокотехнологичная система управления производством плодов, основанная на технологиях:

• глобального геопозиционирования (GNSS);

• геоинформационных систем (GIS);

• дистанционного мониторинга состояния насаждений и урожая;

• внесения удобрений и средств защиты растений сообразно реальным потребностям растений;

• IT-систем поддержки принятия решений в садоводстве.

По сути, это комплекс технологий, позволяющий повысить урожайность и качество плодов, точнее планировать агротехнические операции, уменьшить негативное воздействие химических удобрений и пестицидов на окружающую среду. Всё это ведёт к оптимизации затрат, а, значит, и повышению эффективности агробизнеса.

Современные IT-системы для садоводства служат для управления всем производственным процессом. Tак называемые ERP-системы (системы управления ресурсами предприятия) позволяют отслеживать логистику и экономику производства плодов. Их недостаток в том, что информация о состоянии насаждений и урожая в реальном времени в них не поступает, эти данные вносятся вручную.

Для мониторинга растительности, в том числе культурных насаждений, применяются системы дистанционного зондирования из космоса, с самолетов, беспилотных летательных аппаратов. Этот подход хорошо показывает себя для полевых культур, но в саду нужно нечто большее, чем просто суммарная площадь листьев или их масса. Важно распознать и оценить буквально каждый плод, но съёмка с воздуха и тем более из космоса даёт недостаточно данных из-за низкого разрешения картинки.

Решения для мониторинга урожая на мировом рынке представляют несколько компаний, например, британская Intelligent Fruit Vision, израильская FruitSpec или японская NEC. Все компании тесно сотрудничают с крупными хозяйствами и учеными в своих регионах и учитывают именно их специфику. В России подобные идеи начали формироваться несколько лет назад, а в 2020 году появился первый прототип распределенной системы мониторинга и прогнозирования.

На биофаке мы занимаемся фундаментальными вопросами, дистанционный мониторинг растений – один из них. В России пока не существует систем для прогнозирования урожайности, которые бы учитывали наши погодные условия и сортовые особенности плодовых культур. В прошлом году мы вместе с консорциумом в составе ФНЦ имени Мичурина, Тамбовского государственного университета и агроинженерного центра ВИМ запустили работу над полноценной системой мониторинга. Расскажу, как она устроена.

Наша система позволит производителю определить три наиболее важных для него параметра:

• Объем урожая в расчете на гектар;

• Качество яблок – их размер и зрелость;

• Однородность качества плодов внутри одной партии.

Кроме того, важно предсказать темпы созревания. Эти параметры позволяют планировать численность сезонных рабочих, объемы хранилищ в распределительно-логистических центрах и поставок в торговые сети, а также снизить затраты на сортировку яблок.

Для дистанционного мониторинга и прогнозирования нужно собирать, хранить и обрабатывать большое количество данных из разнообразных источников.

В первую очередь нужны данные дистанционного зондирования – снимки растений, сделанные на разных расстояниях от них. Для сбора данных с близкого расстояния мы создали собственную робоплатформу, а также оснастим камерами имеющуюся технику, которая несколько раз в год объезжает все деревья в саду. Тогда мы сможем получать фото в ходе всего вегетационного цикла. Такие снимки отражают ключевые фазы развития растений: распускание листьев, цветение, завязывание и вызревание плодов — с учётом влияния внешних факторов. После того, как трактор или платформа закончили объезд своей части сада, мы снимаем с них камеру, подключаем её к ноутбуку и загружаем полученные фото в облачное хранилище. Туда же загружаются данные спутниковых снимков, если они есть.

Со снимками с беспилотников иногда возникают технические сложности. Например, многие хозяйства используют защитные сетки, что затрудняет съемку с БПЛА. Другая ситуация с питомниками: там противоградовая сетка не используется, так что можно получать полезные снимки и с беспилотников.

Кроме снимков, нам нужны данные ГИС и геокоординаты для привязки полученных снимков к карте. Они используются для дифференциального сбора урожая, удобрения деревьев и применения защитных препаратов. Эти операции зависят от состояния растений, рельефа сада, характеристик почвы. Сейчас мы делаем привязку GPS-данных в основном вручную, но планируем использовать навигационные системы, которыми оборудованы тракторы.

Загрузив все эти данные в облако мы занимаемся их обработкой с помощью нейросетей и ML-алгоритмов, например находим яблоки на деревьях, можем тестировать на них различные модели в Yandex DataSphere, в конечном итоге получая некую прогностическую модель.

Следующий набор данных – телеметрия IoT-устройств в почве и метеодатчиков. В этом году мы начнем их размещение в садах. Полученную телеметрию планируем обрабатывать с помощью IoT Core и Serverless Functions. Подробные сведения о флуктуациях погоды делают прогнозы урожая более точными. В перспективе разработка web-приложения, с помощью которого специалисты заказчика, хорошо знающие предметную область, смогут вносить дополнительные сведения, уточняющие прогнозы.

Обработав и проанализировав все доступные данные, мы предоставим пользователю результат в виде аналитики и отчетов в веб-дашборде. Сейчас для этого нам хватает возможностей сервиса визуализации данных Yandex DataLens, с его помощью мы можем показать пользователю, например, метеоданные в виде графиков и таблиц, а также расположение деревьев на карте с оценками урожая.

За прошлый год нам удалось протестировать весь пайплайн на площадках в ботаническом саду МГУ и в экспериментальном саду ФНЦ имени Мичурина, от сбора данных с помощью робоплатформы, их хранения и обработки в Yandex.Cloud, до аналитики и формирования отчётов в DataLens. Также удалось собрать часть данных в питомнике ООО «Сады Ставрополья», и подтвердить, что система будет полезна не только хозяйствам, производящим плоды, но и питомникам, выращивающим посадочный материал. Мы убедились, что распределенная система мониторинга насаждений и урожая работоспособна.

Наши тактические задачи на ближайшие сезоны – территориальное масштабирование и отлаживание работы. Мы планируем внедрить системы в ключевых точках российской «плодово-ягодной» географии, включая Ставропольский край, Курскую, Липецкую область. Нам нужно накапливать и обрабатывать не просто большое количество информации, а согласованные данные, где каждой рассчитанной цифре соответствует результат полевого учёта. Для этого мы работаем над улучшением методов машинного обучения и организации ручной работы, такой как экспертная оценка, разметка изображений для нейросетей, проверка данных. Не менее важно заинтересовать самих участников рынка, так, чтобы они были готовы поделиться своими данными для создания общего регионального или федерального датасета.

Стратегическая задача – накопление комплексных данных от картинки до экспертной оценки, для каждой точки сада и за весь период вегетации. Собрав данные за несколько сезонов, мы сможем делать точные прогнозы. Они позволят хозяйствам и питомникам получать более выгодные условия по контрактам с торговыми сетями, кредитам и субсидиям, минимизировать потери плодов и упущенную прибыль.

Подписывайтесь на блог Yandex.Cloud, чтобы узнавать еще больше новостей и историй об IT и бизнесе.

Другие истории, которые активно читают наши подписчики:

#yandexcloud #облачные_сервисы #ии