ИИ, жизнь, баланс

Сегодня у меня пост в формате эссе. Это значит, что я не пользуюсь дополнительными источниками, не привожу ссылки и все свои аргументы беру из памяти. Я вычитываю эссе после публикации, но только на предмет выявления грамматических или стилистических ошибок и не проверяю факты.

Стандартный алгоритм работы с языковыми моделями такой: сначала обучаем на очень большом наборе текстов, а потом адаптируем под новые задачи, используя небольшие наборы примеров. Эти небольшие наборы примеров работают действительно хорошо, но почему это так, мы ещё не обсуждали. Предлагаю исправить сие досадное недоразумение и совместно прочитать с…

Это кликбейтный заголовок, простите. Мы здесь про научную публикацию будем разговаривать.

Накопала статью аж 2016 года, которая называется «Social Learning and Distributed Hypothesis Testing» («Социальное обучение и распределённое тестирование гипотез»). На первый взгляд, это что-то из социологии, но на деле работа существенно шире – и это очень интересно. Пошли разбираться.

Начав говорить о мозге, нельзя просто так взять и остановиться.

Теория охоты на информацию (она же «информационно-продовольственная теория», information foraging theory) – это подход к изучению того, как стратегии поиска, сбора и потребления информации адаптируются к окружающей среде. Она была сформулирована в 1990-х годах исследователями Питером Пиролли (Peter Pirolli) и Стюартом Кардом (Stuart Card).

Продолжим разговор о калибровке ИИ в соответствии с человеческими ценностями: что это значит вообще и какой ИИ можно считать «правильным» или «соответствующим человеческим ценностям»? О каких ценностях идёт речь, если они разные в разных странах и в разные эпохи? Да и вообще в одной стране, в один день, в одном доме и на одном этаже могут спокойно…

В мае этого года вышел подробный отчет компании Anthropic о новых моделях Claude Opus 4 и Claude Sonnet 4. Он прям очень подробный, поэтому я пройдусь только по тем моментам, которые мне показались наиболее важными, а остальное оставлю на ваше усмотрение.

Вторую часть поста выкладываю сразу после первой, это где ж такое видано? Это мини-серия про «невзламываемость» ИИ, первая часть здесь. Сегодня завершим её разбором статьи «The Alignment Trap: Complexity Barriers» («Настройка ИИ на человеческие ценности: ловушка барьеров сложности»), опубликованной в июне 2025 года, так что пристёгиваемся.

Есть ли вообще такая вещь, как модель, которую невозможно «взломать» и заставить выдать что-то потенциально вредное для человека (jailbreak-proof)? Интуитивно – нет. Но всегда полезно доказывать интуитивное, потому что интуиция часто подводит.

На эту тему есть несколько интересных исследований, которыми хочу поделиться. Это первая часть из тр…

Я сейчас учусь на очень интересном курсе и изучаю методы прямого воздействия на результаты работы ИИ. То есть, не через обучение или инструкции, а через влияние на математические преобразования данных внутри. Понимаю, что это может показаться чересчур сложным, но не переживайте: я всё подробно расскажу.

Обещала начать делиться информацией по…

Что вы думаете о создании заведомо безопасных языковых моделей?

Мне кажется, вам нравится эта идея.