⚪️ Бенчмарк GDPx
Уважаемая компания SemiAnalysis выпустила новый бенчмарк GDPx. Вы скорее всего уже видели эту картинку как на КДПВ. Вроде бы ничего примечательного - мало ли такого выпускают регулярно.
Но тут ситуация немного интереснее - бенчмарк интегрирует умения моделей в разных доменах. И компания серьезно подошла к доменам, найдля для каждого профессионального партнера для разработки бенчмарка. Веса в итоговом индексе проставлены равными, поэтому общий перфоманс и общий график на самом деле особой роли не играет.
Наиболее интересно смотреть какой перфоманс у модели в узких доменах - их пока 11 штук, от дизайна чипов до биологии.
👉 Я крайне рекомендую смотреть бенчмарки на сайте, где можно выбрать отдельные домены или по группе доменов. Кроме того, некоторый фронтир отказывается работать по чувствительным доменам, и там выходит или маленький рейтинг (отказавшись от большинства задач) или совсем 0 если модель отказалась работать полностью. Это примета времени такая!
В общем, для анализа - штука весьма любопытная.
‼ НЕ смотрите мельком картинки в интернете по рейтингу на этом бенче - нужно видеть какие домены из рейтинга выбраны. Бенч интересен именно срезами и комбинациями.
▶ Рекомендую полазить и посмотреть на офсайте в разных доменах и актуальной для вас комбинации, а потом сравнить с тем, что по вашим ощущениям дают модели в жизни. У меня совпадает довольно близко в доменах/подобранных комбинациях доменов.
🔗 Смотреть тут : https://gdpx.semianalysis.com/
▶ В блоге более подробно развернута методология, рассказано как делали бенчи с партнерами - деталей много и это тоже интересно
👉 Неплохая штука вышла, кмк!
(ц) такое мы читаем и смотрим