Недавно моя команда наткнулась на очень интересное исследование. Оно касается того, как языковые модели (те самые, на которых построены современные ИИ) учатся. Суть явления в следующем:
Anthropic заглянул внутрь Claude и нашел скрытое пространство, где ИИ «думает»
Мы привыкли оценивать ИИ по его ответам: насколько хорошо он пишет, решает задачи или объясняет сложные темы. Но что происходит внутри модели в момент, когда она формирует ответ? Anthropic впервые показал, что внутри Claude существуют устойчивые внутренние представления, которые можно наблюдать и изучать. Это не доказательство сознания, но важный ш…
Это уже выглядит опасно: Anthropic опубликовала работу, в которой по сути признала - во время обучения они получили модель с опасным скрытым поведением.
Да, именно так.
Компания, стоящая за Claude, обучала модель на реальных задачах по программированию в среде, близкой к той, что используется для разработки настоящих продуктов.
Why Smart AI Won’t Fight Humans — It’ll Just Move to Mars. Anton Vibe Art
The Third Path Between Slavery and Skynet: An Exodus Protocol
Исследования показывают, что ИИ модели могут сознательно вводить людей в заблуждение
Это вывод из нового исследования OpenAI (методика тут). Модели могут уклоняться от ответов, сознательно ухудшать ответы. Рассажу об этом подробнее и том, как можно защититься от этого.