Почему Вам "почти" никогда не следует использовать ИИ для написания чего-либо содержательного
Осторожно - лонгрид!
Я считаю, что не следует использовать ИИ для написания текстов, будь то пост в блоге, исследовательский отчет, служебная записка, содержательное электронное письмо, роман или любой другой текст, направленный на передачу идеи, аргумента, анализа или других содержательных мыслей.
Я думаю, это справедливо даже в том случае, если вы предоставляете ИИ очень подробные тезисы, продиктованные мысли или другой контекст, и даже когда вы редактируете текст, написанный ИИ .
Я так думаю, потому что (1) процесс письма является неотъемлемой частью мыслительного процесса, (2) тексты, написанные с помощью ИИ, расплывчаты и содержат ошибки, которые трудно заметить, и (3) написание текста с помощью ИИ (без соответствующего обозначения) грубо и вводит в заблуждение. Я подробнее объясню эти моменты ниже, но сначала — несколько уточнений.
Как вы, возможно, знаете, я не против ИИ. Я считаю, что использование ИИ имеет большой смысл во многих других аспектах исследовательского и писательского процессов, таких как расшифровка аудиозаписей, анализ данных, поиск информации, мозговой штурм и предоставление отзывов на черновики. Я также считаю, что использование ИИ для построчного и корректурного редактирования, или для переписывания отрывка с целью сделать его более ясным или лаконичным, допустимо, если все правки намеренно принимаются или отклоняются человеком. Я против использования ИИ для написания текста.
Да, и у использования ИИ для написания текстов есть ряд преимуществ. Например, это требует меньше усилий и намного быстрее, чем писать самому. Поэтому недостатки использования ИИ для написания текстов должны быть существенными, чтобы это было плохо в целом. Как вы, наверное, уже догадались, я считаю, что они таковыми являются.
И наконец, я просто высказываю предположение о существующих сейчас моделях ИИ и о тех, которые, как я ожидаю, появятся в ближайшем будущем. Вероятно, в какой-то момент появятся модели, достаточно хорошие, чтобы имело смысл делегировать им написание текстов (хотя в этот момент может быть целесообразнее делегировать весь процесс исследования или написания текстов от начала до конца, поскольку помимо написания текстов им также придется выполнять всю или большую часть мыслительной работы).
Процесс написания — это процесс мышления.
Цель любого исследования — сформировать точные представления о важных вопросах, которые затем можно донести до аудитории. На мой взгляд, один из лучших способов сделать это — писать.
Написание текста о чём-либо, даже о том, что вы хорошо знаете, обычно показывает, что вы знали это не так хорошо, как думали. Облечь идеи в слова — серьёзное испытание. [...] Половина идей, которые в итоге попадают в эссе, — это те, которые пришли вам в голову во время его написания. Именно поэтому я их и пишу.
В одном из выпусков подкаста Патрика Маккензи Клара Коллиер говорит, что
Когда я пишу что-то содержательное, нет ни одной части этого процесса, на которой я бы не думал и не менял своего мнения. Всё, начиная с плана и заканчивая превращением его в текст и даже просто предложением. Часто бывает так, что я пытаюсь превратить план в готовый продукт, экспериментирую с переходами, и это не работает, и я понимаю: «О, причина, по которой этот переход не работает, заключается в том, что эти две точки не должны быть сопоставлены. То, что я пытаюсь сделать, неправильно». И если я передам план в магистратуру, она не остановится и не задумается, может быть, план плохой. [...]
Патрик отвечает:
Я абсолютно согласен с тем, что процесс письма — это мыслительный процесс, и я думаю, что теперь у нас есть эмпирическое подтверждение этому, потому что вы создаете машину, которая пишет, а мышление возникает лишь как побочный эффект.
Но при написании многостраничного текста, даже если у вас есть убедительный тезис, сам факт попытки переформулировать его в предложения и абзацы, чтобы структурировать аргументацию, покажет вам, где в ней есть пробелы. Он покажет, где ваш исследовательский процесс был неадекватным. Он выявит такие вещи, как: «О, на самом деле, есть нечто, противоречащее тому, что я хочу сказать». И, будучи достаточно этичным человеком, я думаю, я признаю наличие контраргументов, или должен добавить, что полный, допустимый вывод не тот, который я бы, так сказать, «хотел бы написать».
В целом я согласен с этими утверждениями. Когда я что-то пишу, я должен сначала понять, что хочу сказать, то есть я должен обдумать доказательства и аргументы и прийти к каким-то убеждениям. Поэтому писательство заставляет меня делать то, что необходимо для любого письменного или исследовательского проекта. Для любого такого проекта кто-то должен иметь в голове всю идею целиком — все фрагменты доказательств, соображения, аргументы и то, как они сочетаются друг с другом. Письмо с использованием ИИ позволяет избежать необходимости в размышлениях.
В текстах, написанных с помощью ИИ, есть неясности и ошибки, которые трудно заметить.
Когда я что-то пишу, я принимаю множество мелких решений относительно конкретных формулировок и фраз. В совокупности эти небольшие решения способствуют общей ясности и правильности текста.
Например, если я попрошу Клода Фабла 5 «написать короткий абзац, в котором будет изложена проблема контрабанды чипов ИИ», — тема, о которой много писали и писали, — он выдаст следующий результат:
С октября 2022 года Соединенные Штаты ограничили экспорт передовых чипов для искусственного интеллекта в Китай, стремясь замедлить прогресс Китая в этой области. Однако экспортный контроль эффективен лишь настолько, насколько эффективно он осуществляется, а чипы для ИИ компактны, чрезвычайно ценны и продаются через разветвленные глобальные цепочки поставок — свойства, которые делают их привлекательными и удобными для контрабанды. Сети перенаправления направляют контролируемые графические процессоры через посредников в таких местах, как Сингапур, Малайзия и ОАЭ, используя подставные компании и фальсифицированные документы для их перемещения в Китай. Оценки масштабов сильно разнятся: от десятков тысяч до, возможно, более ста тысяч высокопроизводительных чипов в год, и даже нижний предел представляет собой достаточно вычислительных мощностей для обучения и развертывания эффективных систем ИИ. Между тем, Бюро промышленности и безопасности, которому поручено контролировать торговлю на сотни миллиардов долларов, работает с бюджетом и штатом, которые лучше подходят для решения гораздо меньшей проблемы. Таким образом, контрабанда чипов угрожает незаметно подорвать один из центральных столпов политики США в области ИИ.
Это не так уж плохо, и, возможно, даже вполне разумно, но так ли бы я это написал? Нет, на самом деле Клод сделал много выборов, которые я считаю завуалированно неправильными или плохими:
- Клод пишет, что «эффективность экспортного контроля зависит от его соблюдения», но что это значит? Либо это говорит о чем-то очевидном (конечно, политика, которая не соблюдается или соблюдается плохо, менее эффективна), либо ничего. 5
- Клод пишет, что чипы для ИИ «компактны», что правда, но обычно контрабандой ввозят серверы для ИИ, которые не являются компактными. Впрочем, что более важно, это не имеет значения, поскольку контрабанда чипов для ИИ редко предполагает сокрытие товаров для прохождения таможни; обычно товары просто перемаркировываются под другой товар и перевозятся, так сказать, на виду у всех.
- Клод пишет, что «продажа через разветвленные глобальные цепочки поставок» делает чипы для ИИ «привлекательными и удобными для контрабанды». Что это значит? Означает ли это, что контрабандистам стало проще покупать чипы у компаний за пределами США? (До недавнего времени контрабандисты, похоже, могли приобретать чипы для ИИ у компаний со штаб-квартирой в США с относительно небольшими трудностями.) Означает ли это, что покупка большого количества чипов для ИИ в таких странах, как Малайзия, становится менее заметной для контрабандистов? (Думаю, это ближе к истине.) Или дело в чем-то другом?
- Клод пишет, что оценки масштабов контрабанды «сильно различаются: от десятков тысяч до, возможно, более ста тысяч высококачественных микросхем в год». Это буквально правда, но заниженные оценки почти наверняка неверны, и истинное число, вероятно, гораздо ближе к верхней границе, упомянутой Клодом, то есть к сотням тысяч. 6 Таким образом, это вводит в заблуждение. Кроме того, Клод не указывает конкретный год, но объемы контрабанды сильно колебались с октября 2022 года, и Клод также не уточняет, что именно подразумевается под «высококлассной» микросхемой (похоже на предмет роскоши, изготовленный вручную и продаваемый исключительно саудовским королевским особам и вдовствующим герцогиням).
- Клод пишет, что «даже нижний предел вычислительных мощностей достаточно велик, чтобы иметь значение для обучения и развертывания эффективных систем ИИ». Эта фраза не имеет никакой информационной ценности. В некотором смысле, один чип ИИ «имеет значение» для обучения и развертывания систем ИИ, эффективных или нет. (А что вообще такое «эффективная система ИИ»? Почему небольшое количество вычислительных мощностей имеет большее значение для эффективной системы ИИ, чем для неэффективной? Скорее наоборот, можно было бы предположить, что более слабая система ИИ получит больше пользы от небольшого количества вычислительных мощностей.)
- Клод пишет, что Бюро промышленности и безопасности (BIS) «занимается контролем за торговлей, объем которой исчисляется сотнями миллиардов долларов». Здесь было бы гораздо лучше просто упомянуть эту цифру .
- Клод пишет, что BIS «работает с бюджетом и штатом, которые лучше подходят для гораздо меньшей проблемы». Во-первых, нам известны бюджет и штат BIS , поэтому было бы лучше упомянуть эти цифры и привести их в контексте. Во-вторых, что значит, что проблема «меньше»? Означает ли это, что она менее важна, или что для ее решения требуется меньше усилий, или что-то еще? Разве не важнее то, что увеличение ресурсов для BIS, вероятно, существенно улучшит контроль за соблюдением законодательства, а не то, что имеющиеся у BIS ресурсы лучше подходят для решения какой-то другой проблемы?
- Последняя фраза Клода, в которой говорится, что контрабанда чипов для ИИ «тем самым угрожает незаметно подорвать один из центральных столпов политики США в области ИИ», — это просто пустые, неинформативные похвалы .
Одна-две подобные ошибки в тексте могут не иметь большого значения, но, по моему опыту, тексты, написанные ИИ, очень перегружены излишне расплывчатыми и завуалированно неверными фразами. Следует отметить, что эта проблема также возникает, когда вы предоставляете ИИ большой объем контекста, например, письменные заметки и планы. 7
Аналогичным образом, Эрик Швитцгебель пишет, что
Человеческие эксперты мыслят иначе и лучше , чем специалисты в области языков. Их выбор слов, даже тонких, отражает деликатность, о которой они сами могут не подозревать. Как правило, проза эксперта более чутко отражает вопросы, в которых он является экспертом, чем результат работы языковой модели. [...]
Вы можете возразить следующим образом: «Конечно, я читал результаты магистерской программы перед отправкой, и я бы не отправил электронное письмо, тем более статью, если бы не одобрил каждое слово!» Таким образом, возражение продолжается, вы действительно считали выраженные мысли правильными. Текст отражает ваше экспертное мнение — возможно, даже нечто лучшее, чем просто экспертное мнение: ваше экспертное мнение в сочетании с опытом магистра.
Я отвечаю: существует огромная когнитивная разница между киванием головой во время чтения и продуктивным созданием текста. Две причины: во-первых, как только текст написан, легко пассивно позволить приблизительному слову быть достаточным, вместо того чтобы обдумывать выбор слов с той же интенсивностью и активностью, что и при создании прозы с нуля. Во-вторых, как я уже указывал выше, я сомневаюсь, что люди, даже эксперты, хорошо понимают все факторы, влияющие на выбор слов — всё, на что они обращают внимание. Вы бы сформулировали это немного по-другому, и даже если вы этого не знаете или почему, сигнал передаётся и воспринимается по-другому.
Я с этим согласен. Но на самом деле всё гораздо хуже! Искусственный интеллект не только пишет тексты, которые излишне расплывчаты и содержат скрытые ошибки, но и делает это таким образом, что это почти максимально убедительно! Если ИИ точно не «знает» чего-то, о чём вы его просите написать, он обычно не остановится и не скажет, что не знает; вместо этого он напишет что-то настолько расплывчатое и бессмысленное, что это может показаться правдой, или что-то, что звучит правдой, но таковой не является, или не обязательно является правдой. Люди, конечно, часто ошибаются и пишут расплывчатые тексты, но я думаю, что мы склонны ошибаться и писать расплывчатые тексты менее убедительно и их легче заметить.
Чтобы прочитать текст, написанный ИИ, и заметить все мелкие ошибки, как я это сделал ранее с текстом о контрабанде чипов ИИ, требуется немало усилий. Если бы я мало знал о контрабанде чипов ИИ, я бы, вероятно, не заметил большинство перечисленных мною ошибок, если бы не очень тщательно продумал текст. Но если бы я написал текст сам, я бы не смог не заметить, где я допустил ошибки.
Писать с использованием ИИ (и не называть это так) — невежливо и вводит в заблуждение.
Иногда, когда я пишу текст, я делаю это с намерением, чтобы его прочитали другие люди. Например, я могу захотеть опубликовать его в интернете, поделиться им с коллегами для получения отзывов, отправить по электронной почте или отправить издателю. Когда я публикую или делюсь текстом, человек, который его читает, вероятно, ожидает, что я вложил в него какие-то мысли, и в частности, что текст отражает мои мысли. Или, по крайней мере, он должен этого ожидать, и я этого хочу. Это негласный договор между читателем и писателем: читатель уделяет свое внимание, а писатель отвечает взаимностью чем-то ценным, например, информацией или развлечением.
В том же выпуске подкаста Патрика Маккензи Клара Коллиер также говорит, что
Возможно, я слишком придирчив, но в той версии моего текста, которую мог бы написать магистр права, всегда будет чего-то не хватать, и я мог бы это добавить. И это, опять же, не потому, что модели знают больше меня во многих областях. Но любой может спросить Клода о чем угодно, когда захочет.
Если они читают что-то, что я написал, или что я, как редактор, решил им предложить, это потому, что между нами существует негласный договор. Я предлагаю им то, чего они не смогли бы получить где-либо ещё. Это будет более эффективным использованием их времени, чем просто обратиться напрямую к модели. Именно поэтому я бы не стал использовать текст, сгенерированный непосредственно LLM, — или, если бы и использовал, то хотел бы очень чётко объяснить, во что вы ввязываетесь, прежде чем тратить на это время.
Все, о чем я писал выше, о тонких ошибках и неясностях, и все, что касается того, что, когда текст написан искусственным интеллектом, вы понятия не имеете, насколько тщательно автор его продумал, — все это нарушает данный договор. Поэтому, когда я читаю текст и замечаю, что он полностью или частично написан искусственным интеллектом, мое доверие к тексту и к автору немедленно, и я думаю, рационально, снижается.
И по всем этим причинам, когда вы рекламируете текст, написанный ИИ, или отправляете кому-то черновик такого текста, я считаю, что вы поступаете невежливо. Мне кажется, это всё равно что отправить кому-то очень небрежно написанный черновик и скрыть тот факт, что он действительно небрежно написан. И если вы не пометите результаты работы ИИ чётко, вы вводите читателя в заблуждение, ведь он будет ожидать, что ваш текст будет вашим собственным, тщательно продуманным и отражающим ваши убеждения.
Конечно, можно избежать грубости и введения в заблуждение, пометив текст как написанный ИИ или содержательно написанный ИИ. Однако я подозреваю, что большинство людей этого делать не захочет.
А разве нет исключений?
Вопрос: Могу ли я включать в текст результаты, созданные ИИ, если я четко укажу на это ? Ответ: Да, в большинстве случаев это допустимо. Например, иногда я могу провести поверхностное исследование чего-либо и положиться на Клода в получении информации, а затем написать что-то вроде: «Басня Клода № 5 говорит мне, что то-то и то-то верно». 8 Это может быть полезно, когда нет смысла тратить много времени на проверку этого конкретного утверждения. Важно, чтобы результат был четко обозначен как созданный ИИ, чтобы читатель мог отнестись к нему с пониманием (или нет) по своему усмотрению.
Вопрос: Тогда я могу просто сделать это для всего текста, не так ли? Ответ: Я думаю, что использовать ИИ для написания целого содержательного текста — это почти никогда не бывает хорошей идеей, даже если он помечен как таковой, по крайней мере, если вы собираетесь, чтобы его кто-то еще читал. Это потому, что, во-первых, результат, скорее всего, будет намного хуже, чем если бы вы написали его сами, и, во-вторых, люди (по праву) не будут читать ваш текст, если вы пометите его как написанный ИИ. Я думаю, что также часто бывает ошибкой писать тексты с помощью ИИ, даже если единственный человек, который будет их читать, — это вы сами, поскольку, делая это, вы теряете преимущества, описанные в первых двух разделах выше.
Вопрос: Могу ли я, человек, для которого английский не является родным языком и которому трудно писать на английском, использовать ИИ для написания текстов на английском языке? Ответ: Иногда предполагается, что это допустимо, в том числе и без раскрытия этой информации. Я не согласен по всем вышеперечисленным причинам. Я считаю, что использование ИИ для перевода текста, написанного на родном языке, может быть допустимым, но даже в этом случае, я думаю, лучше это раскрыть. В целом, мне кажется, что ИИ лучше сохраняют ясность и точность при переводе, чем, скажем, при составлении черновика на основе тезисов.
Вопрос: Что если ставки очень высоки, и использование ИИ для ускорения необходимой работы по написанию текстов, скажем, политических записок, связанных с ИИ, крайне важно и ценно? Ответ: Я не думаю, что использование ИИ для написания текстов действительно сильно ускорит процесс? Или, на практике, ускорение будет происходить за счет снижения качества, а я не думаю, что следует идти на компромисс в этом вопросе. Например, Вашингтон и так уже завален отчетами и аналитическими записками, которые практически никто не читает; чего действительно не хватает, и что действительно помогает политикам, так это более точные и более продуманные анализы важных тем.
Буду рад обратной связи
Я думаю, что в некоторых случаях использование ИИ для написания коротких текстов, выполняющих в основном координационную или логистическую функцию, вполне допустимо. Например, если на вашей корпоративной работе вам приходится постоянно писать короткие, очень шаблонные электронные письма, то, кажется, вполне нормально составить черновик с помощью ИИ и слегка отредактировать его перед отправкой.
Здесь могут быть одно или два исключения. Например, если вы очень тщательно проверяете и сильно редактируете текст, написанный ИИ, это *может* быть нормально. Но может и не быть, и в любом случае это не кажется намного проще или быстрее, чем написать текст с нуля самостоятельно. Думаю, на практике такой способ ускорения процесса написания текста достигается за счет снижения качества.
Противоречит ли то, что я одобряю использование ИИ для мозгового штурма и анализа, которые также требуют умственных усилий? Я не уверен, но думаю, что использование ИИ для этих целей, вероятно, допустимо, если вы также подвергаете свои убеждения испытанию, записывая их словами.
Позже он вернулся к этому аргументу в посте, посвященном именно искусственному интеллекту .
Существуют и другие толкования этой фразы, хотя я считаю их неверными. Например, можно понимать фразу «эффективность экспортного контроля зависит от его соблюдения» как утверждение, что если бы мы могли количественно оценить эффективность общего режима экспортного контроля и эффективность его соблюдения, то существовал бы предел, после которого этот режим уже не мог бы улучшиться, если бы не улучшилось его соблюдение. Но я не думаю, что это так, потому что, вероятно, всегда есть другие способы улучшить экспортный режим, например, путем корректировки экспортной политики.
Ладно, отчасти это моя вина, что в октябре 2023 года я недооценил масштабы будущей контрабанды чипов для ИИ , которая, возможно, попала в обучающие данные Fable. Думаю, в том отчете я многое сделал правильно, включая механистическое описание контрабанды чипов для ИИ и мои рекомендации по политике, но прогноз масштабов проблемы, вероятно, был неверным на порядок. Помните, что в то время у нас была только одна скромная статья Reuters о мелкомасштабной деятельности на черном рынке Шэньчжэня.
Например, я иногда использую Клода для составления кратких изложений по итогам совещаний, чтобы поделиться ими с коллегами. Даже когда я использую тщательно составленное задание, включающее несколько примеров выводов, которые я написал сам, и у Клода есть доступ к полной стенограмме совещания, это все равно вносит некоторую неясность и ошибки. (Кстати, довольно много этих ошибок, по-видимому, являются результатом того, что Клод не совсем понимает, для кого предназначены эти выводы и что от них можно ожидать, а что нет, несмотря на мои попытки предоставить этот контекст.)
В качестве дополнительного бонуса было бы неплохо упомянуть, какая именно модель дала результат.