ИИ-рецензии лучше человеческих экспертов по данным Гарварда
Говорят, за ИИ обязательно должны люди проверять, они лучше видят ошибки.
В то же время:
Иследователи из Гарварда сравнили рецензии ИИ и хорошо оплачиваемых экспертов на 124 научные рукописи — то есть не с отзывами неведомых бесплатных рецензентов, а с сильным эталоном человеческого происхождения. В слепом тесте бывшие редакторы журналов предпочли результат работы ИИ-рецензента в 87% случаев. При проверке рецензий другой ИИ-моделью оказалось, что ошибочные утверждения встречались в ИИ-рецензиях примерно втрое реже, чем в рецензиях людей-экспертов: 5,5% против 15,9%.
Так что есть вопрос, кто кого должен ревьюить, строго говоря.
Отдельно мне понравился пассаж:
Rewriting the human reviews to mimic an AI writing style did not improve their rankings