В T-Bank AI Research создали самый точный метод распознавания неизвестных объектов

Эффективность подтвердили на наборах данных от Стэнфордского университета и университета Торонто.

В T-Bank AI Research создали самый точный метод распознавания неизвестных объектов

Неизвестное становится известным

Ученые из лаборатории исследований искусственного интеллекта (ИИ) T-Bank AI Research разработали самый точный в мире метод по обнаружению ранее неизвестных объектов на фото с помощью ИИ. Это подтверждают общепринятые в области компьютерного зрения наборы данных, которые создали Стэнфордский университет и университет Торонто — CIFAR10/100 и ImageNet. Метод был создан совместно со студентами Университета МИСИС и МФТИ.

Метод получил название SDDE (Saliency-Diversified Deep Ensembles) и будет особенно востребован в сферах, где требуется высокая точность анализа изображений. Например, в области беспилотных транспортных средств и медицинской диагностики. То есть там, где важно различать неопознанные элементы и графические артефакты.

Новый метод снизил риск ошибки при обработке и анализе изображений более чем на 20%, а значит требуется меньше человеческих усилий для перепроверки результатов и исправления неверных решений.

Открытие признано мировым научным сообществом и было представлено на Международной конференции по обработке изображений (IEEE ICIP) в Абу-Даби, ОАЭ. Это одна из крупнейших научных конференций, посвященных обработке изображений и видео, а также компьютерному зрению.

Карты внимания

Компьютерное зрение (CV) — это область искусственного интеллекта, которая занимается анализом изображений и видео. Для повышения эффективности распознавания объектов ученые применяют методы машинного обучения. В частности, метод «глубокие ансамбли», который объединяет несколько нейронных сетей для решения задачи. Это похоже на сбор мнений разных экспертов для получения лучшего решения.

Предыдущие разработки в области CV сталкивались с проблемой однородности ансамблей. Они были слишком похожи друг на друга, а значит снижалось качество и разнообразие их оценок.

Для того чтобы идентификация объектов была более надежной в новом методе SDDE мы используем карты внимания, фокусирующиеся на разных аспектах данных. Модели стали более разнообразными, а их общая точность повысилась.

Также мы научили модель при работе с изображениями учитывать не только те наборы данных, которые использовались при ее обучении, но и незнакомую ей информацию. Такой подход значительно улучшил работу модели в области обнаружения ранее неизвестных ей объектов и точности их распознавания.

Для оценки эффективности метода мы провели испытания на популярных базах данных: CIFAR10, CIFAR100 и ImageNet-1K. Метод SDDE продемонстрировал наилучшие результаты по сравнению со схожими алгоритмами, такими как Negative Correlation Learning и Adaptive Diversity Promoting.

Даниил Гаврилов, руководитель лаборатории T-Bank AI Research:

«Эта статья является продолжением серии наших работ, посвященных робастности и безопасности искусственного интеллекта. Мы сосредоточены на разработке методов, которые повышают устойчивость ИИ-систем к незнакомым или неожиданным данным, что критически важно для надежного применения ИИ в различных сферах. Наш новый подход с использованием Saliency-Diversified Deep Ensembles (SDDE) представляет значительный шаг вперед в обеспечении безопасности и точности ИИ-технологий. Мы первыми использовали карты внимания (saliency maps) для диверсификации моделей, что позволило существенно улучшить обнаружение и обработку данных вне распределения».

Подробное описание модели и результаты экспериментов доступны в статье Diversifying Deep Ensembles: A Saliency Map Approach for Enhanced OOD Detection, Calibration, and Accuracy.

1919
1010
11
24 комментария

Интересно было бы посмотреть как они видят применение этих навыков ИИ в медицине? Микродроны в организме?

2
Ответить

Чтение МРТ, КТ, снимков флюраграфии, записи УЗИ, УЗДГ. Ну как так-то, отец, такого не понимать. И даже записи фиброскопии, гастроскопии, капсульная эндоскопия кишечника.

2
Ответить

Плюсую) тоже хотелось бы деталей)

Ответить

Хоть бы ссылочки кидали на ранние работы. Ребята числились в University of St. Gallen. Т.е. не похоже что Талибанк что-то создал.

https://arxiv.org/pdf/2112.03615

1
Ответить

Здравствуйте.

В приведённой статье решается другая задача — борьба с adversarial атаками, а у нас — OOD-детекция. Соответственно для решения этих задач используются разные бенчмарки и разные подходы к вычислению и агрегации карт внимания. Также наш подход позволяет обучаться на больших наборах данных.

5
Ответить

Достаточно интересная фишка. Первое применение, которое приходит на ум - это автомобилестроение. Например, тот же автопилот будет лучше разбираться в ситуации на дороге и отличит тень от куста от машины.

2
Ответить

Спасибо, что оценили!

Ответить