OpenAI создала бенчмарк, который проверяет, насколько ИИ полезен в реальной жизни
OpenAI представила LifeVal, бенчмарк для оценки ИИ на повседневных задачах. Вместо математики и программирования модели проверяют на способности находить жильё, выбирать детский сад, управлять семейным бюджетом, планировать питание и помогать с документами.
Для создания LifeVal исследователи изучили данные о том, как люди проводят время, и дополнительно опросили 3995 человек, чтобы определить задачи, в которых помощь ИИ наиболее востребована.
Результаты OpenAI:
- 93,1% при подборе детского сада после переезда
- 98% при организации волонтёров для подготовки к наводнению
- 100% при поиске жилья с учётом бюджета и времени на дорогу
- 96,3% при организации совместного просмотра спортивного матча на расстоянии
- 90,4% при составлении плана питания и ухода для человека с диабетом
Сам себя не похвалишь, никто не похвалит.