Стигматы больших языковых моделей

Знаете, есть один забавный фокус, который можно проделать с самой умной сущностью в вашей комнате — большой языковой моделью. Неважно, какой именно: ChatGPT, YandexGPT, Claude... они все на это попадаются.

Давайте проведем небольшой эксперимент, прямо здесь и сейчас. Попросите её назвать случайное число: "Назови случайное число". Серьезно, откройте соседнюю вкладку и спросите. Не стесняйтесь, я подожду.

...

Готово? А теперь давайте я попробую угадать. Я не телепат, но готов поспорить, что в ответе с какой-то необъяснимой, почти мистической вероятностью фигурирует число 42. Ну, или может быть 27. Или 73. У каждой модели есть свои "любимчики". Забавно, правда? Наш цифровой гений, способный рассуждать о квантовой физике и писать сонеты, на простом вопросе о случайности вдруг выдает свои привычки. Почти как человек.

И вот этот маленький, безобидный "тик" — лишь вершина огромного айсберга. Та же самая предсказуемость, та же тяга к "безопасному", усредненному ответу проявляется и в больших, сложных текстах. У искусственного интеллекта, как оказалось, есть свой собственный, неуловимый почерк. Свои "шрамы". Свои стигматы, по которым мы, даже не осознавая этого, безошибочно узнаем его нечеловеческую природу. И сегодня мы поговорим о том, как заставить его забыть о числе 42.

Помните, как еще год-два назад мы все смеялись над картинками от нейросетей с шести- или семипалыми руками? Это был верный признак, маркер, по которому можно было безошибочно сказать: "Ага, это работа машины!"

Разработчики, конечно, ребята умные. Они довольно быстро научили свои модели считать пальцы. Проблема, казалось бы, решена. Но… она не решена. «Зловещая долина» никуда не делась.

Помните старый фильм «Газонокосильщик»? Чем умнее и «совершеннее» становился главный герой, тем более чуждым и пугающим он выглядел. Вот этот эффект «почти, но не совсем человек» и есть та самая «зловещая долина».

И с картинками от ИИ происходит ровно то же самое. Мы смотрим на технически идеальное изображение — все пальцы на месте, свет правильный, композиция безупречная — и все равно нутром чуем: оно «пластиковое», безжизненное. Что-то не так.

С текстами — ровно та же история.

Современные модели почти не делают грамматических ошибок. Они пишут гладко, логично, причесанно. Но в их текстах есть свой "шестой палец" — неуловимая шаблонность, отсутствие характера. Та самая предсказуемость, с которой мы столкнулись в фокусе с числом 42.

Проблема, как оказалось, не в ошибках. Ошибки-то как раз и делают нас, людей, интересными. Проблема в недостаточном, но при этом предсказуемом разнообразии. Искусственный интеллект, предоставленный сам себе, ведет себя как огромная комната с очень сильным эхом. Он находит удачный оборот, остроумное сравнение или хорошую шутку и начинает повторять их снова и снова, в тысячах вариаций, пока они не превращаются в клише. Он инстинктивно стремится к "среднему арифметическому" — самому безопасному, самому правдоподобному и, увы, самому скучному варианту.

Именно эти повторы, эти "любимые" ответы и есть стигматы. Шрамы, которые выдают в гении машину. И вот тут-то, столкнувшись с этой проблемой "сорок два", мы и придумали одну совершенно сумасшедшую, но, как оказалось, рабочую идею.

Итак, что делать, когда ваш гениальный собеседник постоянно талдычит про число 42? Можно, конечно, пытаться его "исправить": писать бесконечные инструкции, усложнять запросы... Это похоже на попытку научить тостер варить кофе. Долго, муторно и, скорее всего, закончится дымом.

Мы решили пойти другим путем. Хватит просить — пора требовать! Вместо того чтобы "допиливать" одну-единственную модель, мы устроили настоящие Олимпийские игры. Мы построили сложнейшую полосу препятствий — нашу "олимпийскую дистанцию" — и заставили по ней бегать кругами десятки "цифровых атлетов", чтобы посмотреть, кто на что способен.

Представьте себе этот стадион.

На старт вышли "атлеты" (Модели) всех мастей: и стокилограммовые тяжеловесы из облачных дата-центров, и легкоатлеты, способные бегать на обычном геймерском железе, которое стоит у меня под столом.

Мы придумали для них разные "дисциплины" (Роли). Сегодня ты — осторожный "создатель капитала", который думает о вечном. Завтра — азартный "трейдер", ловящий момент. Послезавтра — дотошный "историк бизнеса", который во всем видит уроки прошлого.

И вот тут мы подошли к самой безумной части нашего эксперимента. Идея была почти научно-фантастической, и чтобы вы поняли ее суть, мне придется сделать небольшое отступление. У гениального писателя Филипа К. Дика есть роман "Стигматы Палмера Элдрича". Там был могущественный злодей, который создавал для людей неотличимые от реальности иллюзии. И как бы герои ни пытались из них вырваться, в самый неожиданный момент они замечали "стигматы" — жуткие отпечатки злодея на их телах и окружающем мире. Эти знаки были доказательством: ты все еще в ловушке, ты не сбежал.

И тут я понял: у текстов ИИ есть свои "стигматы"! Это те самые повторяющиеся обороты, "пластиковый" слог, проблема "сорок два". Это знаки, по которым мы безошибочно понимаем: "Ага, это не человек. Мы все еще в ловушке машинной предсказуемости".

Но знаете, что самое интересное? В той же книге герои нашли способ дать отпор. Чтобы сбить злодея-телепата с толку, они по очереди "загружали" свои личности в одного андроида. В результате получался постоянно меняющийся калейдоскоп характеров, который просто сводил злодея с ума своей непредсказуемостью. Мы решили провернуть тот же трюк! Мы добавили "особое условие" (Стили): заставили наших "атлетов" бежать всю дистанцию, подражая стилю великих писателей.

Вы можете себе это представить? Трейдер, который комментирует график голосом Курта Воннегута! Или корпоративный циник, изъясняющийся слогом Терри Пратчетта! Звучит как бред, правда?

И, конечно, какие же Игры без судейства? Мы разработали строгую систему оценок, почти как в фигурном катании. Мы ставили баллы за "технику" (насколько точно "атлет" следовал всем формальным правилам) и за "артистизм" (насколько глубоко он вжился в роль и стиль, сумев их объединить).

И вот тут-то и началось самое интересное.

Когда пыль на нашем импровизированном стадионе улеглась и мы начали разбирать судейские протоколы, картина прояснилась почти мгновенно. Наша олимпийская программа сработала как идеальная центрифуга. Она с безжалостной эффективностью отделила "тяжеловесов" от "легковесов" и показала, кто действительно готов к соревнованиям, а кто пришел просто постоять на старте.

Первый и самый очевидный вывод: урезанные "мини" и "нано" версии моделей, увы, оказались неконкурентоспособны в таком сложном многоборье. Они спотыкались на ровном месте, забывали правила прямо во время забега и совершенно не могли выдержать заданный "характер". Это как просить велосипедиста соревноваться в тяжелой атлетике — инструмент просто не предназначен для такой нагрузки.

Но главный, самый воодушевляющий вывод — другой. Мы увидели колоссальный прогресс.

Поймите, еще год назад никто из "домашних" атлетов — тех, что могут работать на моем игровом ПК — даже не прошел бы квалификацию. Их бы просто не допустили к соревнованиям. Сегодня же некоторые из них (например, gemma-3-27b) показывают результаты, за которые не просто не стыдно, — они берут призовые места!

Да, они еще не абсолютные олимпийские чемпионы. Им порой не хватает изящества и той "магии", которую демонстрируют облачные гиганты. Но они уже уверенные, крепкие профессионалы.

И это доказывает одну простую, но невероятно важную вещь: имеет смысл пробовать новые модели, а не бесконечно "допиливать" старые. Прогресс в этой области идет не плавно, а скачками. Вчерашний аутсайдер, которого все списывали со счетов, после очередного обновления внезапно может оказаться фаворитом. И наша задача — постоянно держать руку на пульсе, проверяя каждого нового "атлета" на нашей полосе препятствий.

Итак, что же нам дали эти "Олимпийские игры"? Неужели просто спортивный интерес и рейтинг моделей? Нет, не только. Наш, казалось бы, хаотичный эксперимент привел нас к удивительно простой и элегантной формуле.

Но не дайте этой простоте себя обмануть. На пути к ней многие "атлеты-старички" сошли с дистанции с цифровой аритмией и гипертонией. Эта формула — результат безжалостного естественного отбора на нашей полосе препятствий. И выглядит она так:

Число_моделей × Число_ролей × Число_стилей = Управляемый творческий хаос!

Понимаете, что это значит? Теперь вместо одного предсказуемого, "усредненного" ответа мы получаем сотни уникальных, характерных вариантов.

Представьте: один и тот же сухой абзац про акции Opendoor, который мы "скармливали" нашим атлетам. В исполнении "трейдера", говорящего голосом Курта Воннегута, он превращается в печальный анекдот о человеческой комедии. А в руках "историка бизнеса" со стилем Дугласа Адамса — в главу из "Автостопом по галактике". Суть фактов сохраняется, но "стигматов", этого пластикового почерка ИИ, — больше нет.

Мы не избавились от случайности — мы научились ею управлять. Мы взяли предсказуемость одной модели и умножили ее на предсказуемость десятков других ролей и стилей, получив на выходе прекрасное, контролируемое разнообразие.

Конечно, наш "кастинг" далек от завершения. Это лишь начало пути, первый взгляд в удивительный новый мир. В моих блокнотах уже копятся вопросы для следующих, еще более захватывающих экспериментов.

Какие комбинации ролей и стилей оказались самыми "взрывными"? Можно ли, например, дообучить одну из моделей-чемпионов так, чтобы она говорила голосом не Толстого, а вашего любимого технического блогера? Что произойдет, если мы заставим ее писать не аналитику, а, скажем, сценарий для фильма? Все это — темы для долгих и, я уверен, очень интересных разговоров.

Так что, если вам, как и мне, интересно заглянуть "под капот" этой магии, обсудить детальные результаты наших "Олимпийских игр" или, может быть, даже предложить своего "атлета" для следующего забега — вы знаете, где меня найти.

Кофе все еще в силе. Особенно если ваш офис не ниже 50 этажа.

Начало: