👀Синергия IoT и LLM
На этой неделе по работе делал ресеч на тему трекинга персонала в торговом зале магазина и выявления действий, которые он совершает. Пока искал оптимальный способ того, как отделить сотрудника от покупателя пока так и не нашел идеального для магазинов, нашел пейпер (https://arxiv.org/html/2407.02606v1) о том, как IoT (интернет вещей) и LLM (большие языковые модели) могут выявлять ошибочные действия человека и давать рекомендации по исправлению.
Статья написана про контроль действий пожилых людей внутри помещения. Но применяемые технологии после доработки, кажется, могут быть применены в виде процесс майнинга во многих сферах, в том числе в ритейле и промышленности.
В ходе исследования было сделано:
1. Плата Raspberry Pi Model B+ была оснащена различными датчиками, включая датчики движения (PIR), акселерометры (IMU), датчики освещенности (RGB), давления, влажности, магнитного поля, газа и температуры, а также модулем записи звука.
2. Для эксперимента были выбраны 20 атомарных действий, таких как прием пищи, использование бумажного диспенсера, письмо, нарезание, мытье рук, наливание воды, уборка пола, стук, бег, взаимодействие со шторами, выключателем света, набор текста, проход через дверь, протирание стола, разговор, игра в баскетбол, работа с пилой, бритье, мытье посуды и чистка зубов.
3. С датчиков на головное устройство передавалась информация о времени, типе и уровне сигнала.
4. На Raspberry Pi Model B+ производилась локальная обработка сигналов - очистка шумов и определение типа действия на основании очищенных данных от датчиков. В работе не написано какие модели использовались, есть только краткое упоминание, что работа с использованием многослойных перцептронов, так что, вероятно, какая-то нейроночка.
5. Подготовленная информация с локального устройства (дататайм + тип атомарного действия) передавались в ChatGPT-4 для анализа последовательностей атомарных действий.
6. В LLM загружен промпт, который позволяет объединять последовательности действий за короткий промежуток времени в комплексный сложный процесс, в котором LLM будет искать несоответствие, например, последовательность действий "чистка зубов → мытье рук → налить воду → есть" указывать на то, что человек забыл принять лекарство перед едой.
7. Каждое выявленное несоответствие превращается в рекомендацию о том, что ему следует сделать процесс корректным - "чистка зубов → 🧼мытье рук → 🚰налить воду → 💊принять лекарство → 🌯есть".
Дополнительные примеры комплексных действий:
- Несоблюдение правил гигиены: сервис может заметить, что человек ест, не помыв перед этим руки (например, играет в баскетбол, а затем сразу ест). В этом случае система рекомендует сначала помыть руки, а затем приступать к еде.
- Риск поскользнуться: сервис может проанализировать последовательность действий и определить, что человек входит в комнату (например, проходит через дверь) и сразу же направляется к диспенсеру для бумажных полотенец, не включая свет. Система распознает это как потенциальный риск поскользнуться в темноте и напоминает о необходимости включить свет.
В рамках эксперимента оценивалось:
- Как точно определяются атомарные действия. Итог - большинство действий имеют F1-меру с точностью = 1. "использование бумажного диспенсера", "наливание воды" и "разговор", были распознаны с меньшей точностью.
- Определение устойчивости модели к шумам. Итог - успешно продемонстрирована устойчивость к различным видам шумов.
- Корректность определения комплексных действий - атомарные действия отлично превращались в LLM в цепочку последовательностей (цифры не приведены).
Выявленные проблемы:
- Как я написал выше - не все атомарные действия считывались с высокой точностью.
- Отсутствие локальной работы всех компонентов сервиса - LLM была облачная. В следующем подходе планируется использовать более мощную плату, чтобы развернуть LLM локально на ней.
- Использование аудиоданных как одну из метрик - не обеспечивает конфиденциальность, хотя авторы и изменяли частоту сигнала так, чтобы её невозможно было восстановить.
- Ну и моя боль - нет информации о тестировании на этапе работы LLM - ни метрик, ни цифр.
Если переносить этот подход на оффлайн магазины/хореку/промышленность, то этот подход выглядит вполне реализуемым, но не универсальным. Пока не видится единым решением для всех областей. Модель распознавания атомарный действий должна быть обучена под конкретные условия и типы действий, хотя создание промпта для LLM можно и сделать максимально простым для любой сферы.
"An AI-Based System Utilizing IoT-Enabled Ambient Sensors and LLMs for Complex Activity Tracking" arXiv:2407.02606v1 [cs.HC] 02 Jul 2024
Больше ежедневных статей и ссылок на материалы в телеграм-канале: