Аннотирование повреждений автомобилей для обучения искусственного интеллекта
Благодаря доступности систем компьютерного зрения на основе ИИ, способных автоматизировать большую часть процессов, в последние годы активно развивается сфера визуального контроля, связанного с технологиями страхования. При помощи мобильных приложений или веб-сайтов пользователи могут выполнять удалённую оценку повреждений и мгновенно получать расчёт цены, что упрощает процесс и сильно снижает стресс пользователей. Эта сфера уже охватила не только оценку повреждений транспорта, но и другие виды собственности, например, недвижимость.
Однако обучение систем визуального контроля при помощи ИИ имеет свои сложности, поскольку требует постоянного наполнения высококачественными и разнообразными данными. Из-за расширения области действия таких сервисов на разные регионы стало необходимым получение из каждого региона данных, аннотированных в точности согласно таксономии каждой страховой компании.
Проблемы и решения
Мы хотим поделиться своими рекомендациями и советами, которые позволят добиться успеха вашему проекту в сфере ИИ:
Именно поэтому очень важно начинать с подходящих данных обучения и применять методику human-in-the-loop для постоянного совершенствования используемых вами моделей визуальных проверок! Это включает в себя обработку в реальном времени пограничных случаев, чтобы гарантировать выявление и оценку всех повреждений перед расчётом стоимости ремонта.
Типы аннотаций для распознавания повреждений при помощи ИИ
Ниже представлено несколько сценариев аннотирования изображений и видео для визуального контроля транспорта при помощи ИИ, а также рекомендации по каждому из сценариев:
Распознавание повреждений
Для распознавания повреждений автомобилей необходимо собрать обширный датасет различных типов повреждений и аннотировать их при помощи многоугольников или кистей. Аннотирование ограничивающими прямоугольниками применять не рекомендуется, поскольку они не обеспечивают необходимой точности и накладываются друг на друга, что может запутать модель.
Оценка повреждений
Для каждого аннотированного тип повреждения датасет оценки повреждений должен содержать классификацию типа повреждения: например, царапина, разбитая деталь, скол краски, разбитое стекло и так далее. Кроме того, для оценки степени повреждения можно добавлять метки: например, малая, средняя, высокая.
Распознавание деталей автомобилей
Распознавание деталей автомобиля — необходимый этап, выполняемый параллельно с распознаванием повреждений для понимания того, какая именно деталь повреждена. Кроме того, он помогает понять, насколько велик повреждённый участок по сравнению с общей площадью детали автомобиля, и может способствовать вычислению точной площади в квадратных сантиметрах.
Распознавание положения машины
При анализе фотографий или видео важно определить точное положение камеры относительно автомобиля, чтобы знать, какая сторона машины повреждена. Это можно реализовать добавлением к каждому изображению меток с приблизительной величиной поворота машины в градусах.
Наши любимые инструменты
Мы приведём советы и рекомендации по выбору лучших инструментов, которые мы используем для такого типа разметки. Надеемся, они будут полезны тем, кто занимается парсингом документов или обработкой моделей.
1.CVAT (Open-Source)
CVAT — это очень удобный в использовании опенсорсный инструмент, предоставляющий всю базовую функциональность, необходимую для аннотирования датасетов: от ограничивающих прямоугольников и многоугольников до аннотирования видео с интерполяцией.
2.Hasty (бесплатная и платная версии)
Hasty — это более сложный инструмент, предоставляющий замечательные функции автоматической разметки ограничивающими прямоугольниками и многоугольниками, которые существенно ускоряют процесс аннотирования.
Как использовать human-in-the-loop для ИИ визуальных проверок
При работе с системами визуальных проверок в различных регионах сложно справляться с дрейфом данных и обрабатывать примеры, на которых модель не обучалась или которые представлены в обучающих данных недостаточно хорошо. Поэтому необходимо на постоянной основе, а не только на этапе первоначального обучения моделей, использовать вмешательство человека. Вот несколько способов встраивания людей в цикл MLOps:
- Сбор датасетов: сотрудники могут собирать датасеты с изображениями и видео повреждённых автомобилей из любой точки мира, в зависимости от регионов применения модели.
- Аннотирование эталонных данных: для обучения исходных моделей сотрудники могут выполнять полное аннотирование датасетов; все услуги от распознавания положения автомобиля и типа деталей до сегментации ограничивающими прямоугольниками, многоугольниками и семантической сегментации с целью распознавания повреждений и оценки их серьёзности.
- Валидация результатов при помощи активного обучения: после обучения исходной модели вы сможете использовать её для предварительной аннотации большой части датасета, что и повышает скорость аннотаторов, и эффект от их работы благодаря созданию процесса активного обучения и увеличению приоритета примеров, в которых модель наименее уверена.
- Сбор состязательных примеров: после обучения исходной модели можно расширить её базовый датасет дополнительными сложными пограничными случаями, например, необычными марками и моделями автомобилей, редкими углами обзора и типами повреждений (допустим, разбитыми или отсутствующими окнами).
- Обработка пограничных случаев в реальном времени: после разворачивания модели humans-in-the-loop в режиме 24/7 способен при помощи простого запроса API обрабатывать потенциальные пограничные случаи визуальной проверки, поступающие в реальном или почти реальном времени, а затем за считанные секунды отправлять правильный ответ для обеспечения второго слоя верификации критически важных ответов модели.
Понравилась статья? Еще больше информации на тему данных, AI, ML, LLM вы можете найти в моем Telegram канале “Роман с данными”
- Как подготовиться к сбору данных, чтобы не провалиться в процессе?
- Как работать с синтетическими данными в 2024 году?
- В чем специфика работы с ML проектами? И какие бенчмарки сравнения LLM есть на российском рынке?
Обо всем этом читайте в “Роман с данными”