Умная мусорка — классификация мусора на фракции

Привет! Я Ярослав, технический директор R77 AI. Рассказываю, как мы делали умную мусорку с классификацией мусора на фракции)

Цель

  • Разработать устройство, способное автоматически сортировать отходы
  • Разработать устройство, которое способствует улучшению процесса переработки
  • Разработать устройство, позволяющее людям зарабатывать деньги
Умная мусорка — классификация мусора на фракции

Описание

На данный момент в России люди уделяют недостаточно внимания ручной сортировке мусора. Более того, их "зеленые" знания довольно скромные → например, мы не знаем, какие виды пластика подлежат переработке и так далее.

Мы предлагаем умную многоуровневую систему (умная урна → терминал → хаб), которая способна сортировать бытовые отходы на несколько перерабатываемых групп.

Умная урна — это цифровая мусорная корзина, которая может определять, классифицировать и помещать в определенный отсек выброшенную пластиковую бутылку и другие отходы. На данный момент мы сосредоточены на пластике, металле, стекле, тетрапаке, бумаге. Умная урна также оснащена камерами для компьютерного зрения, ультразвуковыми датчиками для измерения загрузки всех отсеков и двумя компакторами для уплотнения отходов и экономии пространства внутри.

Устройство также позволяет владельцу сдавать предварительно отсортированные отходы и зарабатывать деньги.

Основные требования и результаты

  • Физическое устройство для сбора отходов
  • Точная модель машинного обучения, интегрированная в устройство
  • Программное обеспечение, способное собирать данные с устройства

Факторы успеха

  • Точность модели должна быть достаточно высокой (90%+)
  • Производительность модели с точки зрения скорости/задержки должна быть высокой (< 1 сек)
  • Модель должна быть интегрирована в общую программную систему

Риски

  • Большое разнообразие мусора может снизить точность во время тестирования в реальном времени
  • Ограниченное пространство может повлиять на качество фотографий

Этапы и график

Больше 6 месяцев проект (больше половины, не AI)

Предположения и ограничения

Здесь перечислены все известные и неизвестные переменные.

Известно

  • Органические отходы не поддерживаются
  • Мы предполагаем, что отходы чистые

Решение

Схема сортировки

Умная мусорка — классификация мусора на фракции

В рамках проекта было выполнено следующее

  • Исследование и подготовка:

— Проведено детальное исследование существующих методов сортировки отходов для выявления их недостатков.— Проанализированы возможности использования нейросетевых технологий для автоматической классификации мусора.

  • Аппаратное обеспечение:

— Разработан модуль регистрации, включающий подсветку и камеры, которые снимают мусор в различных спектрах (видимый, ИК, УФ).— Создана система для прессования отходов, что позволяет экономить пространство внутри устройства.

  • Программное обеспечение:

— Написаны алгоритмы для обработки изображений, включая кадрирование, фильтрацию, объединение и нормализацию.— Обучена нейросетевая модель для распознавания и классификации различных типов мусора с использованием машинного зрения.

  • Подготовка данных:

— Сформирован и размечен большой набор данных, включающий около 1,000 различных объектов и 6,000 изображений мусора, классифицированных по шести категориям (пластик, металл, бумага, стекло, тетрапак, прочий мусор).— Использованы методы увеличения объема данных (data augmentation) для улучшения качества обучения модели.

  • Обучение и тестирование:

— Выбрана архитектура нейросети EfficientNet и настроены параметры модели, включая функции активации и методы оценки ошибок.— Обучение модели выполнено на платформе PyTorch.— Проведено тестирование модели для оценки её точности и скорости работы.

  • Интеграция и разработка системы:

— Модель машинного зрения интегрирована в общий программный конвейер устройства.— Аппаратные и программные компоненты объединены в единое функционирующее устройство.

  • Испытания и улучшения:

— Проведены полевые испытания устройства в различных условиях, чтобы оценить его производительность в реальных сценариях.— Внесены корректировки и улучшения на основании результатов тестирования для оптимизации работы системы.

Умная мусорка — классификация мусора на фракции

Мусорка

Умная мусорка — классификация мусора на фракции
Умная мусорка — классификация мусора на фракции

Первый вариант

Умная мусорка — классификация мусора на фракции
Умная мусорка — классификация мусора на фракции
Умная мусорка — классификация мусора на фракции
Умная мусорка — классификация мусора на фракции

Терминатор 2

Умная мусорка — классификация мусора на фракции
Умная мусорка — классификация мусора на фракции
Умная мусорка — классификация мусора на фракции
Умная мусорка — классификация мусора на фракции
Умная мусорка — классификация мусора на фракции
Умная мусорка — классификация мусора на фракции

Результат проекта

В рамках проекта WORM-E Smart Bin были выполнены следующие задачи

  • Разработка аппаратной части:

— Создан узел регистрации, включающий систему подсветки и камеры для съемки мусора в различных спектрах (видимый, ИК, УФ).— Разработана система компакторов для компрессии мусора, что позволяет экономить место внутри устройства.

  • Создание программного обеспечения:

— Разработаны алгоритмы цифровой предобработки изображений, включая обрезку, отбор кадров, склейку и нормализацию изображений.— Создана нейросетевая модель компьютерного зрения для распознавания и классификации мусора.

  • Подготовка данных для обучения:

— Собран и размечен набор данных, включающий ~1,000 объектов и ~6,000 изображений мусора, распределенных по 6 категориям (пластик, металл, бумага, стекло, тетрапак, остальной мусор).— Применены методы искусственного расширения выборки данных (data augmentation) для улучшения качества обучения модели.

  • Обучение и тестирование модели:

— Выбрана архитектура нейросети EfficientNet и определены параметры модели, включая функции активации и функционал ошибки.— Модель обучена с использованием фреймворка PyTorch.— Проведено тестирование модели на точность и скорость работы.

  • Интеграция системы:

— Модель компьютерного зрения интегрирована в общий программный конвейер.— Объединены аппаратные и программные компоненты в единое функционирующее устройство.

  • Проведение испытаний:

— Проведены полевые испытания устройства в различных условиях, чтобы оценить его производительность в реальных сценариях.— Внесены корректировки и улучшения на основании результатов тестирования для оптимизации работы системы.

Результаты испытаний проекта WORM-E Smart Bin

Умная мусорка — классификация мусора на фракции

Эти результаты демонстрируют улучшение показателей точности, полноты и F1-оценки для большинства категорий мусора после оптимизации модели.

Умная мусорка — классификация мусора на фракции

Релевантность

  • Экологическая устойчивость:

Сортировка и переработка отходов играют критическую роль в снижении негативного воздействия на окружающую среду. Автоматическая система сортировки мусора помогает эффективно перерабатывать отходы, уменьшая объемы полигонов и снижая загрязнение.

  • Улучшение качества переработки:

Высокая точность и скорость распознавания и классификации мусора, достигаемые с помощью нейросетевого машинного зрения, значительно повышают качество переработки. Это приводит к более чистым и пригодным для переработки материалам.

  • Снижение нагрузки на людей:

Автоматизация процесса сортировки мусора снижает необходимость ручного труда, что особенно актуально в условиях больших объемов отходов. Это также минимизирует контакт людей с потенциально опасными материалами.

  • Экономическая выгода:

Возможность для людей зарабатывать деньги, сдавая отсортированный мусор, стимулирует общество к более ответственному отношению к отходам. Это также может способствовать созданию новых рабочих мест в сфере переработки и управления отходами.

  • Социальная ответственность:

Повышение уровня осведомленности населения о важности сортировки и переработки отходов способствует формированию экологически ответственного поведения. Проект WORM-E Smart Bin вносит вклад в образовательные и социальные инициативы по улучшению экологической культуры.

  • Технологическое развитие:

Использование передовых технологий, таких как нейросетевое машинное зрение и автоматизация, демонстрирует возможности современных инноваций в решении экологических проблем. Проект способствует развитию и внедрению высокотехнологичных решений в области экологии.

Умная мусорка — классификация мусора на фракции

Преимущества продукта

  • Высокая точность и эффективность сортировки:

Использование нейросетевых моделей компьютерного зрения обеспечивает высокую точность распознавания и классификации различных типов мусора. Это позволяет значительно улучшить качество сортировки и переработки отходов.

  • Автоматизация процесса:

Полная автоматизация процесса сортировки мусора снижает необходимость ручного труда, что экономит время и усилия пользователей, а также минимизирует контакт с потенциально опасными отходами.

  • Экономия пространства:

Система оснащена компакторами, которые сжимают мусор, что позволяет значительно экономить пространство внутри контейнера и уменьшить частоту его опустошения.

  • Стимулирование переработки:

Возможность зарабатывать деньги, сдавая отсортированный мусор, стимулирует людей к участию в программе переработки, повышая общий уровень вовлеченности и ответственности за окружающую среду.

  • Образовательный эффект:

Проект повышает осведомленность населения о важности сортировки и переработки отходов, способствует формированию экологически ответственного поведения и улучшению экологической культуры.

  • Универсальность и адаптивность:

Система способна распознавать и сортировать различные типы отходов, включая пластик, металл, бумагу, стекло, тетрапак и другие. Это делает ее универсальной и подходящей для различных условий и мест.

  • Снижение экологического следа:

Эффективная сортировка и переработка отходов помогают снизить объемы мусора, отправляемого на полигоны, уменьшая загрязнение окружающей среды и способствуя устойчивому развитию.

  • Технологическое превосходство:

Проект демонстрирует возможности применения современных технологий, таких как нейросетевое машинное зрение и автоматизация, в решении экологических проблем. Это способствует развитию и внедрению высокотехнологичных решений в сфере экологии.

  • Экономическая выгода:

Эффективное управление отходами и переработка могут привести к снижению затрат на утилизацию и создать новые экономические возможности, такие как продажа переработанных материалов и создание новых рабочих мест.

Алгоритмы

  • обычный classification pipe (нет)
  • Гипотезы: zero-shot vs. supervised
Умная мусорка — классификация мусора на фракции

1-3 камеры

Умная мусорка — классификация мусора на фракции

Разные виды подсветки и длины волн

Умная мусорка — классификация мусора на фракции
Умная мусорка — классификация мусора на фракции
Умная мусорка — классификация мусора на фракции

Разный фон

Умная мусорка — классификация мусора на фракции

Длительность проекта

Общая длительность проекта — 3 месяца

Команда

  • 1 Data Science Lead
  • 2 Data Scientists (CV Engineers)
  • 1 backend developer
  • Команда разметки

Стоимость реализации проекта

Общая стоимость проекта составила ~35k USD

Я создал канал, где описываю, как мы делаем такие проекты — @r77_ai приходите, там много промышленного и не только)

44
2 комментария

То, что вы сделали и в правду круто и однозначно найдет применение в определённых кругах. Простому человеку может показаться, что это бесполезное и достаточно простое устройство. На самом деле понимаю насколько тяжело заниматься подобным проектом и как много времени уходит уходит на него

1

Оно то прикольно, что и такое придумали уже, но мне кажется это долго. Разве не проще уже разделенный мусор выкинуть куда нужно? Тем более если мусора много🤔 Ну хотя может для некоторых мест это и удобно

1