ARC-AGI-3: новая версия бенчмарка для ИИ с мини-играми
Вышел ARC-AGI-3 — третья версия одного из интересных бенчмарков.
AI натренированы на всём интернете и легко решают то, что уже видели, но дай задачу которой не было в обучении, то всё.
ARC-AGI это и проверяет: может ли AI разобраться в том, чего никогда не видел.
Первые две версии были статичные головоломки с паттернами.
ARC-AGI-1 продержался 5 лет, пока reasoning модели его не прошли. ARC-AGI-2 меньше года.
ARC-AGI-3 совсем другой формат. 135+ мини-игр, без правил и инструкций.
Никто не объясняет что делать. ИИ сам тыкает интерфейс, двигает предметы, жмёт кнопки, пробует, ошибается, пробует снова.
Меряют не правильный ответ, а как быстро учится: сколько действий потратил, как запоминает, как меняет стратегию когда что-то не работает.
Все задачи решаемы людьми.
Подписывайтесь на Telegram Tips AI | IT & AI.