Цифровое фенотипирование: как КлимБиоТех поручил искусственному интеллекту считать колоски пшеницы

Фенотипирование растений – это описательный процесс, в результате которого учёный получает подробную информацию о фенотипе каждого образца: анализируется размер, цвет, форма и внешние особенности.

Это важный этап работы селекционеров, которые заняты изучением растений из генбанков, которые наиболее эффективно адаптировались к суровым условиям окружающей среды. Учёные улучшают сельскохозяйственные культуры при помощи таких сортов, которые могут дать наибольший урожай в кратчайшие сроки с минимальным риском быть уничтоженными вредителями и бактериями, а мы – помогаем нашим друзьям учёным в этом.

Дисклеймер

Этот кейс не предоставляет конечный продукт, а показывает наши наработки и шаги, которые мы предпринимаем в области цифрового фенотипирования. Исследование, разработка и тестирование технологии проводятся на базе вниисб (Всероссийского научно-исследовательского института сельскохозяйственной биотехнологии), в лабораториях искусственного климата, заведующий лабораторией – к. б.н. Дивашук Михаил Георгиевич.

Задача

Глобальная миссия КлимБиоТеха заключается в автоматизации рутинных процессов учёных. Мы заметили, что фенотипирование растений занимает сотни часов работы сотрудников научно-исследовательского центра. Много времени тратится на рутину, а не на научные открытия и другие более важные задачи. Исходя из этого, мы предложили оптимизировать процесс фенотипирования – а именно:

Мы взяли задачу из базы Kaggle (международное соревнование по Data Science): Global Wheat Detection

Как мы добились лучшей точности детекции?

Главная проблема, которая перед нами стояла – научить ИИ обнаруживать и отделять колоски пшеницы друг от друга. Они сливаются с биомассой, их трудно заметить и выделить даже человеку.

В поисках решения этой проблемы мы попробовали использовать камеры, которые работают в ночном режиме с инфракрасным диапазоном 860нм. Оказалось, что такие камеры очень точно показывают разницу между колосьями и листьями растений. Колоски начинают “светиться”. Но чтобы научить нейросеть распознавать колосья, нужно было обучить модель.

Нам нужно было настроить обнаружение колосьев, поэтому мы использовали для разметки bounding box – самый быстрый инструмент для обучения нейронной сети. Понадобился dataset из 3500 примеров для обнаружения объекта – колоска пшеницы – мы обучили модель это делать самостоятельно. Теперь она может их видеть на изображении или видео, разделять и подсчитывать. Для большей эффективности работы нейросети мы провели аугментацию изображениями – немного изменяли копии фотографий, чтобы дать больше данных, при этом не делая ручную разметку.

Результат неплохой, но этого недостаточно для полноценного использования. Технология “зелёная” и находится на стадии разработки. Мы будем улучшать ее и обязательно вернёмся с обновлениями и новыми кейсами. Пока расскажем, как мы прошли наш скромный путь.

Использовали и обучали нейронную сеть YoLo v8, взяв при этом модель с самым большим количеством обучаемых параметров. Отслеживали результат при помощи метрик Precision и Recall (классические для оценки качества классификации), а также IoU. Точное определение границ колосьев не так важно, поэтому последнюю метрику мы использовали больше для отсечения дубликатов и ложных разметок от нейронной сети.

Размеченные изображения мы сгружали и склеивали в видео.

Перспективность этой технологии в том, что анализируются тысячи растений одновременно. Автоматизация и цифровизация облегчают анализ фенотипов и освобождают время для научных открытий.

Что дальше?

В ближайшем времени учёные смогут вести журнал своего эксперимента в приложении – то есть объединить в одном цифровом пространстве данные о каждом растении, полученные при помощи цифрового фенотипирования, и собственные заметки.

Также есть возможность создать протоколы выращивания: данные о климатических условиях в динамике, в соответствии со стадией развития растения.

И в перспективе искусственный интеллект можно использовать для создания “Дневника селекционера”. Базы данных генотипов и фенотипов, загруженные в нейронную сеть, дадут возможность для поиска ей скрытых связей и закономерностей. Это тоже приведёт к ускорению процессов анализа и расшифровки, увеличит количество научных открытий.

#фенотипирование #климбиотех #селекция #пшеница #нейросети #ВНИИСБ #speedbreeding #AI