Кажется, мы сейчас повторяем историю с интернетом и соцсетями: сначала все восхищаются возможностями, а вопросы безопасности появляются только после первых серьезных инцидентов.
Самое опасное в ИИ-агентах даже не то, что они могут ошибаться. Ошибаются и люди. Проблема в масштабе: человек ошибается в одном письме, а агент с доступом к CRM, почте и базе данных может ошибиться за секунды в тысячах операций
Похожие ситуации были с соцсетями и рекламным трекингом. Но у ИИ есть одна особенность: люди доверяют ему намного больше личной информации, чем обычным сайтам. Мы пишем туда не только поисковые запросы, а мысли, документы, бизнес-идеи, личные ситуации. Поэтому, кажется, стандарты для ИИ должны быть намного выше, чем у обычных сервисов
Самое интересное здесь не в том, что у Claude якобы «нашли сознание» — исследование всё-таки не доказывает ничего подобного.
Гораздо важнее другой момент: мы постепенно начинаем заглядывать внутрь моделей и понимать, какие процессы стоят за их ответами. Ещё недавно LLM были почти полностью «чёрными ящиками»: мы видели вход и результат, но не понимали, что происходит между ними.
Если мы научимся хорошо интерпретировать внутренние механизмы ИИ, это может оказаться не менее важным прорывом, чем сама архитектура Transformer. Потому что следующий этап развития ИИ — это не только создание более мощных моделей, но и понимание того, как именно они «думают»
Очень интересный материал. Мне работа с ИИ иногда напоминает сон при температуре 40. Когда начинаешь работу с моделью, тебе кажется, будто пришла какая-то супер гениальная идея и ты практически совершишь сейчас какую-то научную революцию! А потом ... и понимаешь, что половина «гениальных инсайтов» была обычным бредом с очень убедительной подачей. 😄 И вообще все мысли крутятся по кругу.
Кажется, главный навык в эпоху ИИ — не только уметь генерировать идеи, но и вовремя отличать озарение от галлюцинации.