Сам себя не похвалишь. Что не так с бытовым бенчмарком LifeVal от OpenAI
Академические тесты на знание математики и программирования уже никого не впечатляют, поэтому OpenAI решила зайти на территорию бытовой пользы. Компания представила LifeVal бенчмарк, который оценивает, насколько хорошо ИИ-агент справляется с реальными жизненными задачами, поиском жилья, записью ребенка в детский сад, управлением бюджетом и оформлением документов.
Красивый пресс-релиз пестрит цифрами от 90% до 100% успешного выполнения. Но если копнуть глубже маркетинговой упаковки, картина становится не такой радужной.
Идеальные примеры против реальной статистики
Для бенчмарка исследователи собрали 169 сценариев, базируясь на опросах 3995 человек и данных о распределении времени (American Time Use Survey). Задачи предполагают агентную работу, ИИ должен сам браузить интернет, собирать информацию, вызывать коннекторы и выдавать готовый результат.
На промо-странице OpenAI вывесила пять идеальных примеров:
- 100% поиск жилья с учетом бюджета.
- 98% координация волонтеров при наводнении.
- 96,3% настройка совместного удаленного просмотра матча.
- 93,1% поиск детского сада.
- 90,4% план питания при диабете.
Однако эти цифры классический черри-пикинг (cherry-picking). Если изучить скрытые таблицы и интерактивные графики, выясняется, что реальный средний балл флагманской модели GPT-6 Astra по всем 169 задачам при максимальных усилиях (xhigh effort) составляет всего 80,6%. OpenAI показала лучшие дни своего бенчмарка, технично спрятав средние показатели.
Закрытый клуб без конкурентов
Главная проблема LifeVal его абсолютная закрытость.
- Нет публичных данных. OpenAI не опубликовала датасет, критерии оценки (рубрики) и систему грейдирования. Вы не можете скачать этот бенчмарк, чтобы прогнать на нем свои задачи или проверить честность тестов.
- Игра в одни ворота. В таблицах результатов присутствуют только собственные модели компании (от прошлых версий до новой GPT-6.1 Sol). OpenAI «забыла» протестировать Claude Sonnet 5.5 от Anthropic, Gemini от Google или любые открытые модели.
По факту, LifeVal это не независимый инструмент для оценки индустрии, а красивая маркетинговая витрина, призванная продать идею подписки на ChatGPT как ультимативного персонального ассистента.
Не отставайте от технологий! Подписывайтесь на Telegram-канал, чтобы быть в курсе последних трендов и лайфхаков.