Как я собрал публичный AI benchmark и довёл его до GitHub, Kaggle, Zenodo и arXiv-ready состояния

В машинном обучении легко получить красивую цифру на чистом датасете и слишком рано решить, что модель "работает". Но изображения редко живут в чистом виде. Их отправляют через мессенджеры, пересохраняют, сжимают, скриншотят, показывают через видеозвонки и портят шумом, размытием или потерей цвета.

Я захотел проверить более практичный вопрос: повторяются ли ошибки моделей распознавания объектов, когда одно и то же изображение проходит через такие стрессовые условия?

Так появился CURE-OR++.

CURE-OR++ — это публичный `benchmark package` поверх CURE-OR. Он не пытается заменить большие академические наборы данных. Его задача уже:

В текущем релизе v0.4.1 есть:

Обычный leaderboard отвечает на вопрос "кто выше". Мне хотелось получить другой ответ: "где разные модели ломаются одинаково".

Например, на уровне 5 Full-CURE-OR все 8 пригодных моделей попадают в нижний порог на трёх семействах искажений:

Это важнее, чем просто сказать "модель A лучше модели B". Видно устойчивое ядро ошибок, которое повторяется между разными семействами моделей.

В проекте есть маленький блок `real-transfer`: 30 исходных изображений проходят через три пайплайна:

Результат оказался не драматичным, но полезным. Эффекты умеренные:

Это не значит, что все приложения безопасны для распознавания. Это значит, что нужен аккуратный `source-matched` протокол: сравнивать переданное изображение с тем же исходником, а не с другим clean set.

Когда модель отвечает текстом, обычной точности недостаточно. Нужно проверить:

В текущем `open-weight VLM` блоке самый сильный завершённый ряд — LLaVA-OneVision-Qwen2-7B:

Qwen2.5-VL-3B интересен именно как пример другого сбоя: много ответов становятся неразбираемыми. Для ассистентской модели это проблема даже тогда, когда часть распознаваний правильная.

Публичный релиз CURE-OR++ сделан как агрегированный пакет. Это осознанное решение.

Публично доступны:

Не публикуются:

Причина простая: хороший публичный релиз должен быть проверяемым, но не должен нарушать условия исходных данных, приватность локальных изображений или безопасность API-артефактов.

Сейчас проект находится в состоянии публичного релиза и подготовки arXiv.

Уже есть:

Исходники для arXiv уже собраны и локально компилируются. Сейчас упёрся в стандартный для нового аккаунта шаг: arXiv требует endorsement для категории cs.CV.

Главные выводы не только про модели, но и про процесс:

Ближайший план:

Если у вас есть замечания по дизайну benchmark, оценке моделей, границе публичного релиза или воспроизводимости, буду рад комментариям и GitHub Issues.

Если у вас есть опыт публикаций в cs.CV или близких категориях arXiv и вы готовы посмотреть проект как потенциальный endorser, это тоже сейчас актуально.