ИИ-рецензенты здесь — мы не готовы

Nature предупреждает, что хотя openRxiv интегрировал инструмент рецензирования на основе ИИ от q.e.d Science, который предоставляет отзыв на рукопись в течение 30 минут, технология рискует отдавать приоритет эффективности над интеллектуальной обоснованностью, поскольку она производит «средние» оценки, а не разнообразные перспективы, необходимые для признания революционных научных открытий.

Исследование 2024 года показало, что GPT-4 превосходно предсказывает, что скажет средний рецензент, с приблизительно 30% совпадением между комментариями, сгенерированными ИИ, и отзывами отдельных рецензентов-людей, но эта регрессия к среднему может привести к тому, что действительно новаторские открытия будут упущены.

Привлекательность рецензентов на основе ИИ усиливается текущим кризисом экспертной оценки, где средний процесс рецензирования превышает 100 дней, и более 21% рецензий на крупной конференции по ИИ были полностью сгенерированы ИИ, что сигнализирует о том, что рецензенты-люди уже обращаются к этим инструментам без официального надзора.