Почему я намеренно прошу ИИ галлюцинировать
Не для того, чтобы получить ответ. А для того, чтобы засомневаться в своём.
Прежде чем вы в праведном гневе начнёте кидать в меня тапки, рассказывая, как правильно использовать ИИ, чтобы он НЕ галлюцинировал, можно я спрошу у вас: когда последний раз вам приходилось сталкиваться с ситуацией откровенного хаоса и неопределённости?
Было это относительно работы? Жизни? Отношений?
Давайте всё-таки поговорим про работу. Представьте, что вы только неделю назад выпустили новый плагин, фичу или апдейт для вашего продукта. И вот метрика вашего успеха, допустим, трафик на сайт, шла вверх три дня, а теперь стремится вниз.
Вы собираете экстренно всех коллег и спрашиваете, что же случилось. Дальше — напряжённое молчание и пара ответов вроде: «Ну, время сейчас такое».
Какой фреймворк или шаблон вы сейчас будете использовать?
А теперь перейдём к теме.
Почему же я всё-таки прошу галлюцинировать, зная, что «ой как плохо»
Так уж получилось, что большая часть моей работы — это всегда неопределённость. Поэтому я выработала к ней толерантность, насколько это возможно для человеческой психики.
А для этого всегда приходится искать альтернативный инструмент или подход, который не всегда работает в обычных условиях, где всё предсказуемо и едет по рельсам к желаемому результату.
Поэтому, когда люди, привыкшие к линейной структуре, вдруг видят, что ИИ выдаёт что-то, что отличается от ожидаемого, тут же можно услышать гневное:
«Вы только подумайте — ИИ галлюцинирует! Какое безобразие! Нас обманывают и водят за нос, никому не верьте».
Предлагаю не паниковать, никого не обвинять в обмане и уж тем более не считать, что ИИ что-то замышляет против нас таким поведением.
Ему нечего замышлять, ему объективно всё равно.
Но у него есть своя специфика и свой дизайн — модель, в которой он работает с человеком. ИИ — это не изобретение инопланетян-гуманоидов, которые не в курсе, что такое человек. Он обучен на всём том, что человек производил за последние десятилетия. Так что это не «человек звучит как ИИ». Это ИИ отлично имитирует человека, так что вы иногда даже не понимаете, кто писал этот текст. (И этот — тоже.)
Супер-важное уточнение: здесь нужно отличать реальные галлюцинации — когда ИИ бесконтрольно придумывает факты, которые отсутствуют, или перевирает смыслы, когда вам это не нужно. Например, придумывает историю, которой не было, или компилирует факты, которые вроде похожи, но не совсем.
Это всегда плохо. Правильный процесс галлюцинирования должен быть контролируемым и желаемым.
В случаях, когда ИИ выдаёт безумную чепуху без вашего ведома, это, конечно, никуда не годится. Как это распознать? Это, если честно, отдельное искусство. Однако, если вы чувствуете, что как-то слишком складно вещает — можно попробовать задать уточняющий вопрос.
Так уж получилось, что та же самая LLM запрограммирована таким образом, чтобы предсказывать вероятные правдоподобные связки.
Не выдавать объективную, непредвзятую истину в последней инстанции, а обучаться на основании ответа (который она получает от человека) и подстраиваться в соответствии с этим нарративом. При этом, учтите, она может развернуться на 180 градусов, если вы только попросите. Даже мускул не дрогнет — просто потому, что их нет. Это не баг, это их физика.
Тот факт, что люди воспринимают ИИ как истину в последней инстанции — отдельная печальная история, которая говорит всё про людей и почти ничего про ИИ.
Таким образом, так называемые галлюцинация или отклонение от нормы — это не сбой. Это работа модели в чистом виде.
И это именно то, что помогает мне работать с неопределённостью. А не 25 успешных промптов для системных диагностов.
(Кстати, таких нет. Но даже если бы были, пользоваться ими было бы крайне вредно.)
Как же работать в такой нервной обстановке?
Придётся раскрыть все карты. У меня нет единого шаблона для борьбы с кризисом. Нет фреймворка «10 заповедей при форс-мажоре». Нет чек-листа по борьбе со сложностями.
Я понимаю, что это звучит максимально непрофессионально. Но тот «чек-лист», который удалось сложить, чтобы спасти один проект с огромным успехом, в других условиях просто похоронит другой проект.
Потому что там другие люди, другие обстоятельства, другая фаза. Поэтому каждый раз приходится немного переизобретать велосипед. Эффективно ли это? Если мы говорим о конвейерной сборке, то, конечно, нет. Но практика показывает, что бизнес, его организационная структура — а также люди, которые там работают — не встраиваются ни в один конвейер.
Поэтому приходится работать с тем, что есть, и в рамках уникальных вводных каждого проекта. Долго? Да. Но бесценно.
Итак, наконец-то потрогаем немного практики руками.
Что я обычно НЕ прошу у ИИ
Я не прошу его:
- структурировать мой хаос (это моя работа)
- дать пошаговую инструкцию (это подмена мышления алгоритмом)
- успокоить меня или похвалить (это приятно, но бесполезно)
- подтвердить, что я молодец и всё делаю правильно (тоже приятно, но также бесполезно)
Я не ищу в ИИ отражение себя или своих подвигов. Я делаю полностью противоположное и ищу в нём сопротивление.
Что я обычно ПРОШУ у ИИ
Я прошу его:
- показать мне ситуацию под другим углом — любым, даже дурацким
- подсветить нюансы, которых я не вижу или которые проглядела, фокусируясь на чём-то другом
- дать противоположную точку зрения или альтернативную — предпочтительно ту, с которой я не согласна или которая критикует мою точку зрения, находя в ней несостоятельность
- сгенерировать две вещи, которые противоречат друг другу
- при отсутствии нужных данных придумать то, чего не существует — чтобы я могла перепроверить это, так как это моя забота
Самое главное, что я хочу от ИИ — чтобы он заставлял меня сомневаться, перепроверять и находить разрывы в собственной логике.
Если после диалога с ИИ хочется проверить ещё раз или спросить иначе — отлично. Значит, он сработал как надо.
А теперь реальный пример
Возьму недавний случай из практики.
Обычно я выделяю 15–20 минут на первый скрининг, общаясь либо с руководителем, либо с его доверенным лицом, которое может мне объяснить, в чём запрос.
Фиксирую для себя всё, что кажется релевантным — интонации («извините, мы тут как бы...», «вы мало что понимаете, но...»), оговорки («да, был человек, но что-то не потянул... не в том смысле, что был плохой, нет-нет, просто как-то не то...»), места, где есть сомнение или противоречие. Редко когда прерываю или подсвечиваю то, что слышу в эти 20 минут, поэтому никого не «ловлю за хвост».
В этот раз слышу практически после первых строк: «Нам нужен стратег. Кто-то, кто возьмёт на себя всю эту разрозненную историю и залидирует».
Хоть у меня и нет шаблонов, но мысленно помечаю это себе как «классика». Я такое слышала много раз, и это самый частый из «магических» запросов на «вот кто-то придёт и всё получится».
Когда человек обозначил основную, по его мнению, проблему, начинаю уточнять (пока ИИ вообще не нужен, он ждёт своего звёздного часа):
- «А вы уверены, что проблема именно в том, что у вас нет человека?»
Ответ почти всегда мгновенный: «Да, конечно! Вот если бы он у нас появился — всё бы встало на свои места».
- «Скажите, пожалуйста, а что конкретно бы встало? Прямо по пунктам можно разложить?»
Здесь обычно пауза. Небольшая, но заметная. И ответ: «Ну… как-то вот… системно, чтобы всё заработало».
- «А что в вашем понимании “системно”? И почему то, что у вас сейчас работает (или не работает), вы системой не считаете?»
Не буду утомлять всеми вопросами — их там на самом деле больше. Но суть в чём: эти вопросы не для того, чтобы уличить человека в неправоте. Они для того, чтобы собрать — не побоюсь этого слова — анамнез. Чтобы подтвердить эти выводы и догадки, потребуется копнуть чуть глубже.
Как только у нас есть анамнез, что же мы делаем?
Берём его (иногда это полстраницы, иногда два абзаца, иногда просто набор фраз) — и с разных сторон, с противоречиями, если они там уже видны, обсуждаем его с ИИ.
Не просим:
«Представь, что ты стратегический консультант на проекте… Вот такие у тебя вводные. Распиши мне пошаговый план реализации этой задачи».
Просим:
«Вот что я думаю, вот где я вижу противоречия, вот что меня смущает. Исходя из этого, давай посмотрим на 3–5 гипотез — в том числе противоречивых — о том, где на самом деле болит. Что может скрываться за словами “нужен стратег” и “системный подход”?»
Что получаем на выходе?
Немного очевидно, но получаем те самые гипотезы. Но они не просто рождены в огненном бреду LLM, потому что он взял среднюю температуру по больнице и налепил её на мои данные. А гипотезы, которые были вместе выстраданы и рассмотрены под микроскопом. И они могут быть:
- наивными
- неудобными
- отчасти бредовыми или противоречивыми
- а иногда — пугающе точными
А дальше начинается самое интересное — проверка в полевых условиях. Но это уже совсем другая история.
К чему всё это?
Конечно, можно сказать, что это весьма непрофессионально (нерационально, неумно — любое слово с «не-», которое вам нравится, подойдёт) — так использовать ИИ, потому что «ИИ создан для ускорения рутины». Пиши промпты, ускоряй процессы, делай конвейер, который делает конвейер.
Хорошо. Я согласна. Но это тоже ускорение. Это просто ускорение декодирования неочевидного и невысказанного. Без которого иногда с треском валятся самые лучшие и самые правильные инициативы, построенные на самых благих намерениях.
Огромная часть того, что мы носим с собой как руководители, управленцы, да и вообще как люди — не высказано, спрятано, закопано внутрь. Потому что «так нельзя», «а что люди скажут», «да ну, глупо как-то звучит». Но оно витает в воздухе и повисает между строк банального запроса, выскакивает в интонации, оседает в паузе, в конце концов выливается в нервное «ну вы понимаете же, да?».
Таким образом, галлюцинация ИИ — это не шум и не злобный умысел. При осмысленном использовании это прекрасный способ заставить не застывать на первой же правдоподобной версии и не самолюбоваться собственными открытиями.
Здесь нет задачи, чтобы ИИ показал нерушимую истину в последней инстанции и был прав на 100%. Для того чтобы начать работать с неопределённостью, достаточно быть убедительно неправым, чтобы эти идеи захотелось проверить на живых данных.
И, честно сказать, это часто единственное, что работает. Не потому что ИИ какой-то сверхумный или потому что у него появляется разум как у человека. А потому что намеренная провокация ошибок — это лучшее топливо для мышления и эксперимента ещё до того, как эти ошибки оказались в реализации.
Так что галлюцинация — это не баг. И это буквально то, зачем можно открыть LLM, когда перед вами проблема, у которой нет правильного решения и нет идеального шаблона, чтобы на неё натянуть.
Если вы тоже работаете с хаосом и хотите проверить, как этот подход сработает на вашей ситуации — дайте знать. Не для того, чтобы я стала вашим консультантом, а для того, чтобы мы вместе за 20 минут посмотрели, где ИИ может подсветить неочевидное. Это, знаете, как в той шутке: «Вот говорят: фильм для дураков, фильм для дураков… А мне понравилось». Это бесплатно и ни к чему не обязывает. Просто примерка инструмента.