Почему я ненавижу ИИ и вам советую делать так же

Вашему вниманию представляется перевод статьи известного британского исследователя в области компьютерной безопасности.

Одно из обвинений, которое мне часто предъявляют, — это то, что я против инноваций. Если вы следили за мной какое-то время, вы, вероятно, видели, как я высмеивал всё, от криптовалют до больших языковых моделей. Это часто заставляет людей задавать вопрос: «Почему такой технически подкованный человек против технологий?»

Для многих людей в социальных сетях я выгляжу просто как какой-то ненормальный чудак, который вываливает каждую свою полусырую мысль в интернет. И это правда. Но когда дело доходит до моих исследований, работы и карьеры, я чрезвычайно расчетлив и осмотрителен в принимаемых решениях.

Причина, по которой я не бросаюсь с головой во всё, что связано с ИИ, не в том, что я его боюсь или не понимаю, а в том, что я давно пришёл к своему выводу о технологии. Я не считаю, что она совершенно бесполезна или революционна, просто игра, в которую играют, — это та, частью которой я ни сейчас, ни в будущем не нуждаюсь и не хочу быть.

Одно можно сказать наверняка: генеративный ИИ находится в пузыре. Это не значит, что ИИ как технология лопнет, или что нет реального пространства для дальнейшего роста; просто уровень ажиотажа значительно превышает текущую ценность технологии.

Большинство (разумных) людей, с которыми я разговариваю, придерживаются одного из трёх мнений:

1. Эти технологии фундаментально неустойчивы, и ажиотаж будет недолгим.

2. Произойдёт какой-то будущий прорыв, который приведёт технологию в соответствие с ажиотажем, но пока все, по сути, полагаются на креативный маркетинг, чтобы поддерживать поток денег.

3. Технология имеет узкую область применения, для которой она чрезвычайно ценна, но почти всё остальное — просто ажиотаж.

Каждый раз, когда я критикую что-либо из GenAI, без исключения мне задают один и тот же вопрос: «Ты думаешь, что каждый крупный CEO может ошибаться?»

Ответ: да. История изобилует примерами промышленных гигантов, которые сходили с ума, теряли больше денег, чем ВВП целой страны, говорили «лол, мои извинения» и затем находили себе другое занятие.

Я вырос во время последствий великого финансового кризиса. Я своими глазами видел, как крупнейшее и самое престижное финансовое учреждение обрушило всю мировую экономику. Оказывается, в краткосрочной перспективе игра в горячую картошку с долговыми деривативами, обеспеченными воображаемыми деньгами и мошенничеством, — отличная бизнес-модель. В долгосрочной — не очень.

Дело даже не обязательно в том, что корпоративные руководители глупы. Иногда они глупы, что может привести к таким вещам, как вложение большего количества денег, чем стоило правительству США запуск солнца в бомбу, в худшую VR-игру всех времён. Но обычно это просто жадность и недальновидность.

Сейчас ИИ ощущается очень похоже. Индустрия, подпитываемая чревоугодием близоруких визионеров. Индустрия, хватающаяся за каждую соломинку, чтобы найти применение своей технологии. Индустрия, построенная на предпосылке гиперболы и пустых обещаний. Но в данном конкретном случае я на самом деле не думаю, что крупные технологические компании принимают неверное решение, по крайней мере, учитывая имеющиеся у них варианты.

Самая большая угроза для технологических компаний прямо сейчас — это AGI (искусственный общий интеллект). AGI — это теоретическая модель ИИ, которая превосходит людей в их способности учиться, рассуждать, мыслить и адаптироваться. Риск заключается в том, что если одна компания сможет разработать AGI, она получит огромное конкурентное преимущество над остальными практически во всех сферах.

Вложение 100 миллиардов долларов в исследования ИИ не уничтожит ни одну крупную технологическую компанию. Если ничего не получится, это даже не будет иметь значения. Каждая другая компания потеряет аналогичные суммы денег, гоняясь за призраками. Но если AGI произойдёт, рынок изменится так быстро и настолько значительно, что любой крупный игрок без AGI останется позади. Проще говоря, возможность AGI — это экзистенциальная угроза для крупных технологических компаний.

Так что с точки зрения руководства, сжигание космически больших сумм денег в попытке научить видеокарты читать — это, на удивление, логичный ход. Всё остальное — это просто креативный маркетинг. Очень трудно прийти на ежеквартальное собрание акционеров и сказать им, что вы только что испарили ещё 10 миллиардов долларов без какой-либо отдачи от инвестиций. По крайней мере, не заставив их усомниться в том, что вы совершенно обезумели. Вот где ажиотаж играет свою роль.

Tesla могла поддерживать поток инвестиций более десяти лет, каждый год утверждая, что полностью автономное вождение появится в следующем году. Крупные технологические компании могут легко сделать то же самое. «90% нашего кода теперь ИИ», «мы видим искры AGI», «мы так обеспокоены тем, что наш суперумный текстовый процессор станет разумным и убьёт всех». Всё это просто пустая болтовня, призванная удержать инвесторов достаточно долго, чтобы они надеялись найти путь к AGI. Притворяйся, пока не получится, но в масштабах всей отрасли.

Теперь, очевидно, не имея возможности лично поговорить с каждым CEO крупных технологических компаний, я не могу сказать, сколько из них действительно верят, что близки к AGI. Внешне трудно отличить истинные инновации от мошенничества и высокомерия, особенно в сфере технологий. Но судя по откровенному безумию многих заявлений крупных технологических CEO, я бы предположил, что это в основном последнее.

Что приводит меня к последующим эффектам.

Когда все эти крупные технологические компании ежедневно публикуют дерзкие заявления об ИИ, вы начинаете задаваться вопросом: «Ну, а что МЫ делаем, чтобы подготовиться к ИИ?» Правильный ответ, конечно, ничего. Если у вас нет миллиардов и миллиардов долларов для создания и обучения собственной модели ИИ, вы, по сути, просто будущий клиент дорогой подписной услуги крупной технологической компании.

Чрезвычайно высокая стоимость как исследований, так и создания больших языковых моделей делает их идеальным закрытым садом для любой крупной технологической компании. Если им удастся достичь AGI, они смогут продавать подписки немного дешевле, чем эквивалентный человеческий труд, захватив значительную часть рынка. Если они потерпят неудачу, они просто найдут другой способ заставить всех подписаться на очередную модель с завышенной ценой.

Но тем временем, почему бы не приклеить «на базе ИИ» к вашей зубной щётке и не привлечь ещё несколько клиентов от конкурентов? Это, по сути, то, что вы видите сейчас: каждая компания просто впихивает какую-то полусырую LLM-чат-бот в свой рабочий процесс.

Затем, конечно, есть откровенные мошенники. Люди, которые садятся на последний поезд ажиотажа, пытаются позиционировать себя как визионеров в этой области, затем забирают свои мешки с наличными и уходят прямо перед тем, как всё рухнет. Неудивительно, что половина ИИ-инфлюенсеров раньше торговали NFT или пытались продать вам тостеры на блокчейне.

Что меня больше всего интригует, так это Apple. Я всегда был поклонником Apple, но не в обычном смысле. Меня не особо волнуют iPhone или MacBook, но меня всегда завораживал способ работы компании. Они, как правило, избегают хвататься за соломинку в поисках новых бизнес-моделей, массово нанимать и увольнять, или немедленно подхватывать каждую новую тенденцию. Они склонны сидеть, рассчитывать, а затем делать очень осторожные и обдуманные шаги.

Apple изначально начала исследовать пространство LLM, проводя внутренние исследования, и даже вела переговоры об инвестировании в OpenAI. Позже они опубликовали два исследования по рассуждениям LLM (одно в октябре 2024 года, второе в июне 2025 года). Оба исследования утверждали, что LLM не рассуждают, они просто выполняют статистическое сопоставление шаблонов, которое выдают за рассуждение. Без истинной способности к рассуждению LLM никогда не станут AGI, что, по-видимому, является текущей публичной позицией Apple.

Хотя Apple по-прежнему является крупным игроком в области ИИ, они обычно предпочитают традиционный ИИ. Они, скорее всего, всё ещё проводят исследования LLM в фоновом режиме, но решили не бросать всё и не гнаться за ажиотажем. По иронии судьбы, это начало вызывать недовольство у их инвесторов, которые купились на ажиотаж. Люди начинают задаваться вопросом: «Почему Apple ничего не делает с ИИ?»

Вполне возможно, что Apple тоже окажется под давлением и начнёт активно заниматься манией LLM. Несмотря на то, что они достаточно расчетливы и осторожны, чтобы избежать чрезмерных обязательств перед ИИ, одновременно смягчая любые риски, связанные с потенциальным будущим AGI, Apple по-прежнему подвержена капризам своих инвесторов, которые очень любят модные словечки.

Конечно, перевод языков — это не ИИ, Siri — это не ИИ, распознавание и классификация изображений — это не ИИ, единственная приемлемая форма ИИ — это впихивание какой-то полусырой LLM-чат-бота туда, где он не нужен. В конце концов, как мы можем быть уверены, что Apple «занимается ИИ», если они не «кипятят океан», впихивая что-то вроде Copilot в каждое чёртово приложение.

Вывод Apple совпадает с тем, к которому я пришёл очень рано в своих экспериментах с LLM. Я говорю это не для того, чтобы похвастаться «я был здесь первым», потому что я не трёхтриллионная технологическая компания с большим риском. Более важный момент заключается в том, что всё это время я исходил из позиции, что LLM не являются и никогда не будут AGI. Моя позиция осталась совершенно неизменной. Поэтому, если кажется, что я получил психическую травму от того, что мне пришлось слушать 5 лет непрерывного ИИ-бреда в LinkedIn, то это так и есть.

Рассуждение давно является очень спорной темой среди сторонников LLM. Это во многом подпитывается тем фактом, что эти модели — своего рода чёрный ящик. Мы не можем просто заглянуть внутрь и сделать выводы о том, как или почему они выдали результат. Даже те, кто зарабатывает на жизнь созданием LLM, признают это.

LLM (и нейронные сети в целом) очень похожи на человеческий мозг в том смысле, что мы можем объяснить, что делают отдельные нейроны, но когда их собирается достаточно много, никто понятия не имеет, что заставило его сделать то, что он сделал. Даже лучшие нейробиологи мало понимают, как работает мозг в целом.

Вот где возникают такие аргументы, как «Стохастический попугай» или «Китайская комната». Истинное рассуждение — лишь одна из многих теорий о том, как LLM производят выходные данные; это также та, которая требует наибольшего количества предположений (см.: Бритва Оккама). Все текущие возможности LLM могут быть объяснены гораздо более простыми явлениями, которые далеко не дотягивают до мышления или рассуждения.

Если машина потребляет и преобразует неисчислимые объёмы обучающих данных, произведённых людьми, обсуждаемых людьми и объяснённых людьми. Почему выходные данные не должны быть идентичны человеческим рассуждениям? Если бы я сделал ксерокопию этой статьи, никто бы не стал утверждать, что мой ксерокс её написал и поэтому может думать. Но добавьте достаточно запутанности в процесс, и это будет выглядеть так, как будто он это сделал и может.

Для меня одно из явных различий между истинным рассуждением и сопоставлением шаблонов — это то, что происходит, когда убирают доступ к новой информации. Многие утверждают, что LLM — это не машины для плагиата, они учатся, как и люди. Они потребляют знания из книг и от учителей, развивая понимание по ходу дела.

Как профессиональный исследователь, я тоже узнал большую часть того, что знаю, читая работы гораздо более великих исследователей. Но наступил момент, когда я узнал достаточно, чтобы проводить собственные оригинальные исследования в неизведанных водах. Теперь я могу и регулярно исследую темы, где нет другого источника, чтобы проверить свою работу. Это то, в чём LLM не сильны, или, возможно, вообще не могут этого сделать.

Предоставление LLM доступа ко всему интернету и всем записанным человеческим знаниям, а затем тестирование их с помощью викторины, разработанной для людей, — это, очевидно, дешёвый трюк. Я тоже мог бы набрать 100% на тесте с множественным выбором, если бы мне позволили искать ответы в Google. Настоящей мерой интеллекта и рассуждений LLM должно быть не переработка существующей информации, а способность создавать действительно новые произведения.

Конечно, LLM, вероятно, мог бы создать совершенно новую поп-песню, потому что у него есть множество существующих песен для анализа, что позволяет ему создавать что-то кажущееся новым, но на самом деле основанное на существующих шаблонах. Однако каждый раз, когда я пытался заставить LLM проводить новые исследования, они терпели неудачу, потому что у них нет доступа к существующей литературе по теме. В то время как люди, с другой стороны, открыли всё, что знает человечество.

Люди застревают на аргументе: «Ну, большинство людей тоже не создают нового». Но это не потому, что они принципиально не способны на это. Средний человек просто зажат нелюбимой работой. В идеале, без извращённых стимулов акционерной стоимости, LLM автоматизировали бы всю рутинную работу, позволяя людям сосредоточиться на более значимых занятиях.

Я много раз приводил этот аргумент. Но если бы люди могли сделать все эти прорывные открытия, читая лишь столько книг или исследовательских статей, сколько они реально могли, где все крупные открытия LLM? Отдельный человек может быть ограничен в своей способности делать новые открытия из-за конкуренции с 8 миллиардами других людей. Но LLM имеют доступ к знаниям всех.

Вы бы подумали, что машина с доступом к каждой когда-либо написанной книге, каждой опубликованной статье, каждой записанной речи и каждому произведённому исследованию могла бы справиться гораздо лучше, чем человек, который может читать примерно 1 книгу в день. Тем не менее, ничего. Там есть редкие посты вроде «возможно, LLM сделал что-то новое, но мы пока не знаем», но если бы они могли действительно думать, имея столько информации, прорывные открытия буквально сыпались бы с неба.

На самом деле, всё, что мы создали, — это бот, который почти идеально имитирует человеческую естественную речь, а остальное — это люди, проецирующие на него другие человеческие качества. Проще говоря, «LLM занимаются рассуждениями» — это как «смотрите, моя собака улыбается» в мире технологий. Точно так же, как собаки не выражают свои эмоции через человекоподобные выражения лица, нет причин полагать, что даже если компьютер сможет думать, он будет идеально отражать то, что выглядит как человеческое рассуждение.

Одна из основных проблем при тестировании рассуждений LLM заключается в том, что обычно им дают новую задачу. Но как только публикуются новые задачи, публикуются и ответы, после чего LLM может просто повторить существующий ответ из своих обучающих данных.

Логическая задача, которую я раньше использовал для тестирования ранних LLM, называлась «Волк, коза и капуста». Задача проста. Вы идёте с волком, козой и капустой. Вы подходите к реке, которую нужно пересечь. Есть небольшая лодка, в которой достаточно места только для вас и одного другого предмета. Если оставить без присмотра, волк съест козу, а коза съест капусту. Как безопасно перевезти все 3 предмета?

Правильный ответ: вы берёте козу, оставляя волка и капусту. Затем вы возвращаетесь и забираете капусту, оставляя козу одну на другой стороне. Поскольку козу и капусту нельзя оставлять вместе одних, вы забираете козу обратно, оставляя только капусту. Теперь вы можете перевезти волка, оставив волка и капусту одних на другой стороне, наконец, вернувшись за козой.

Любой LLM без труда ответил бы на эту задачу, потому что в его обучающих данных есть тысячи примеров этой задачи и правильного решения. Но было обнаружено, что, просто заменив один предмет, но сохранив те же ограничения, LLM больше не мог ответить. Замена волка на льва привела бы к тому, что LLM сошёл бы с рельсов и просто выдал бы кучу ерунды.

Это показало, что LLM на самом деле не думал и не рассуждал над проблемой, а просто повторял ответы и объяснения из своих обучающих данных. Любой человек, знающий ответ на исходную задачу, мог бы легко справиться с заменой волка на льва или капусты на салат. Но LLM, лишённые рассуждений, рассматривали это как совершенно новую проблему.

Со временем эта проблема была решена. Возможно, разработчики LLM написали алгоритмы для идентификации вариантов задачи. Возможно также, что люди, публикующие различные варианты задачи, позволили LLM обнаружить основной шаблон, которому следуют все варианты, позволяя ему подставлять слова по мере необходимости.

Именно тогда кто-то обнаружил, что можно просто сломать задачу, а вместе с ней и сопоставление шаблонов LLM. Либо сделав так, чтобы ни один из объектов нельзя было оставлять без присмотра, либо все они могли. В некоторых вариантах не было смысла пересекать реку, лодка не подходила ни одному человеку, на самом деле это была машина, или в ней было достаточно места, чтобы перевезти все предметы одновременно. Люди, обладающие реальной логикой и способностями к рассуждению, могли легко идентифицировать сломанные версии задач и отвечать соответственно, но LLM просто выдавали бы бессвязный бред.

Но, конечно, по мере того, как находилось всё больше способов опровергнуть рассуждения LLM, разработчики находили способы их исправить. Я твёрдо подозреваю, что эти проблемы исправляются не введением реальной логики или рассуждений, а субмоделями, созданными для решения конкретных проблем. Если это так, я бы сказал, что мы отходим от AGI и возвращаемся к созданию ML-моделей для конкретных задач, что и является тем, как «ИИ» работает десятилетиями.

Я лично склоняюсь к мнению, что LLM как технология скоро достигнут своего потолка, или уже достигли. Они быстро достигли потолка, где предоставление им большего количества данных, большего количества параметров и большего количества токенов перестало приводить к какому-либо заметному улучшению.

Более поздние технологические разработки кажутся скорее хаками.

CoT, по сути, просто заставляет LLM разбивать проблему на мелкие части. Чтобы дать упрощённый ответ, если бы я спросил LLM 1 + 1 + 1, он мог бы просто ответить 3, основываясь на своих обучающих данных. Хотя он мог бы также разбить проблему на 1 + 1, чтобы получить 2. Затем он может добавить 2 + 1, чтобы получить 3. Для проверки он мог бы просто ответить на задачу обычным способом или разными подходами, сравнивая результаты.

Это в определённой степени решает проблему галлюцинаций (которые являются неотъемлемой особенностью LLM, а не ошибкой, которую можно исправить). Это также в некоторых случаях позволило LLM решать проблемы, которые они не могут решить одним выстрелом на основе своих обучающих данных. Но это всё ещё зависит от того, сможет ли LLM разбить проблему в первую очередь, не галлюцинировать на каких-либо этапах, а также требует гораздо больше времени и вычислительных ресурсов.

Поскольку привлекательность LLM для большинства пользователей заключается в получении полуприемлемого ответа как можно быстрее, немногие хотят ждать несколько минут, которые требуются LLM, чтобы «вскипятить океан», превратив 1 запрос в 50. Это также не является реальным улучшением технологии LLM, это просто решение фундаментальных недостатков LLM путём добавления большего количества LLM.

Как исследователь и писатель, это моя наименее любимая функция LLM.

RAG был разработан, чтобы хотя бы частично решить проблему чрезвычайного времени и вычислительных затрат на обучение LLM. LLM не переобучаются очень часто, что означает, что наборы данных быстро устаревают. Вы, вероятно, помните, как ChatGPT отвечал: «По состоям на дату моего среза знаний, ...», прежде чем дать совершенно неверный ответ.

RAG, по сути, позволяет LLM искать в интернете свежие данные, относящиеся к запросу пользователя, что позволяет ему получать самую актуальную информацию. Затем LLM может использовать свои обучающие данные для обобщения информации, полученной через RAG. По сути, это объединяет LLM и поисковые системы в один продукт.

Так почему же мне это не нравится? Ну, это, по сути, возвышенная форма плагиата. Хотя я бы утверждал, что LLM в целом — это «Плагиат как услуга», RAG гораздо ближе к фактическому плагиату, чем типичное поведение LLM. Как я уже утверждал, LLM не думают и не рассуждают. Таким образом, всё, что делает RAG, — это использование способностей LLM к естественному языку для обобщения или перефразирования новостной статьи, блога или исследовательской работы. Это лишает оригинального автора дохода и трафика веб-сайта, не преобразуя его работу каким-либо значимым образом.

Поскольку RAG по-прежнему является лишь оболочкой, которая находится поверх основной технологии LLM, она по-прежнему подвержена галлюцинациям. Технология также испытывает трудности, когда источников слишком мало, или когда «понимание» информации требует дополнительного контекста, которого нет в обучающих данных LLM. Другой серьёзный недостаток заключается в том, что LLM не знает, когда использовать RAG, или не может идентифицировать устаревшую информацию, поскольку не все результаты поиска будут иметь даты публикации.

Я столкнулся с этой проблемой совсем недавно во время шуточного исследовательского проекта, в котором я дал LLM несколько тысяч долларов, брокерский счёт с включённой торговлей опционами и полную автономию для совершения сделок. Я опубликую полный отчёт, как только проект завершится, но одна из проблем, с которой он часто сталкивался, заключалась в том, что LLM не использовал RAG для получения текущих данных по акциям. LLM просто цитировал цены акций на момент последнего обучения, что в моём случае было более года назад. Это привело к тому, что бот совершал сделки на основе совершенно неточных ценовых данных.

Одно стало мне очень ясно: подобно блокчейну, BigData, облачным технологиям и NFT, большая часть активности в пространстве LLM мотивирована страхом.

Сам страх вполне оправдан. Я никогда в своей карьере не видел такого жестокого рынка труда. Ранее увольнения в двузначных процентах были чем-то, что обычно предназначалось для крупных экономических кризисов или банкротств. Теперь это просто то, что массово прибыльные технологические компании делают по прихоти, казалось бы, без всякой причины.

Я регулярно получаю отчаянные DM с просьбами помочь найти работу. У меня были чрезвычайно технически талантливые друзья, вынужденные работать нетехническими работами, чтобы пережить текущий рынок. Рекрутеры и менеджеры по найму, с которыми я разговариваю, регулярно говорят мне, что им приходится снимать все свои вакансии менее чем через день, потому что они уже получили тысячи заявок.

Большая часть этого страха усугубляется тем, что люди приписывают массовые увольнения и отсутствие вакансий замене ИИ. Это далеко не так, но экономика всего этого чрезвычайно сложна и потребовала бы отдельной статьи. Но важно то, что люди верят в это, а технологические компании более чем счастливы поддержать эти нарративы, чтобы раскрутить свои ИИ-продукты.

Но страх заставляет людей вести себя иррационально, и это сейчас является основной движущей силой принятия ИИ.

Вероятно, одна из самых распространённых заблуждений, которые я вижу в технологиях, заключается в том, что быть первым выгодно. «Преимущество первопроходца». Это не то, что когда-либо казалось последовательным с реальностью. Когда появляется новая технология, она изобилует недостатками, которые нужно устранить. Области применения неясны, жизнеспособность технологии неясна, это много проб и ошибок.

Но люди по-прежнему считают, что быть первым выгодно. Я подозреваю, что это связано с тем, что вы слышите только о нескольких компаниях, которые рано внедрили новую технологию и добились успеха, а не о тысячах, которые потерпели неудачу. Я бы сказал, что гораздо больше компаний добиваются успеха, будучи последними, чем первыми. Они могут проанализировать, где другие ошиблись. Они могут искать пробелы на рынке. Они строят на том, что уже было сделано. Бежать вслепую по минному полю — это просто не лучшая бизнес-модель, на мой взгляд. Но многие, кажется, так думают, по крайней мере, когда это называется «ИИ».

Первый поисковик в интернете, «Archie», был запущен в 1990 году. Yahoo запустился в 1995 году вместе с AltaVista. Dogpile и AskJeeves появились в 1996 году, а AOL — в 1997 году. Google, нынешний титан индустрии, вышел на гонку только в 1998 году. Они не были первыми, они не были ранними, они просто сделали это лучше.

То же самое верно и для Apple. Когда они анонсировали iPhone, большинство конкурентов отмахнулись от него. Они были уверены, что это не жизнеспособный продукт. Это противоречило текущей общепринятой мудрости. В 2022 году Apple стала первой компанией на Земле, достигшей оценки в 3 триллиона долларов.

Tesla опоздала на игру с электромобилями более чем на столетие, создав продукт, который давно считался неинтересным для потребителей. Сейчас он стоит больше, чем практически все автомобильные компании вместе взятые. Объективно он не стоит столько, большинство инвесторов просто пьяны, но Tesla успешно создала рынок электромобилей.

Я мог бы продолжать часами. Но проще говоря, преимущество первопроходца — это для настольных игр и патентных заявок, а не для внедрения новых технологий.

Сейчас LLM — это чрезвычайно незрелая технология. Я лично считаю, что они не станут намного лучше этого, но прорывная инновация может это изменить. В любом случае, мне всё равно. Если технология окажется модным увлечением и полностью рухнет, мне будет наплевать. Если это не пузырь, и LLM действительно окажутся лучшей вещью, я смогу легко интегрировать их в свою бизнес-модель.

Я профессионально опаздываю на все вечеринки. Я выучил язык ассемблера в 2008 году. Реверс-инжиниринг вредоносного ПО в 2011 году. Исследование уязвимостей в 2014 году. Этот блог, в основном документирующий ручной анализ вредоносного ПО, что-то, что автоматизировано с помощью машинного обучения ещё до моего рождения, сделал мою карьеру.

Так что, когда я вижу, как люди бросаются на последний ажиотаж, говоря мне, что меня оставят позади, я могу только усмехнуться. Если LLM как технология жизнеспособны, они всё ещё будут существовать, когда и если я решу, что они полезны для меня. Если нет, я упущу возможность потерять сбережения всей своей жизни на Beanie Babies, пузыре доткомов или NFT.

Часть меня хотела бы просто заявить, что я не руководствуюсь страхом, потому что я просто «сделан иначе». Но, честно говоря, провести юность, запертым в чужой стране, пока ФБР пытается посадить тебя в тюрьму, как-то... полностью выбивает из колеи твою нервную систему. Вся моя система «бей или беги» теперь, по сути, просто один хомяк на колесе. Одно из преимуществ, однако, заключается в том, что легко понять, что ты не принимаешь решения из страха, когда ты его не испытываешь.

Итак, я принял решение изучать новые навыки и расширять свой существующий опыт. Я по-прежнему регулярно использую LLM и слежу за новыми разработками в этой области, но у меня нет намерения переходить в «ИИ» прямо сейчас. Область «делания $чего-то с последней $вещью» чрезвычайно перенасыщена, и я вполне доволен работой на переднем крае существующих технологий.

Но то, что я считаю самым большим вредом, — это не страх, а последующие эффекты спешки с внедрением LLM.

Один из моих других основных аргументов в пользу того, почему я считаю, что LLM достигли своего пика, — это самопотребление источников. Поскольку LLM не думают и не рассуждают, они сильно зависят от больших корпусов данных, произведённых людьми, для обучения и RAG.

Но когда LLM лишают издателей данных дохода либо косвенно, обучаясь на их работах без разрешения, либо напрямую в результате прямого плагиата через RAG, это вынуждает издателей ставить платные стены. Платные стены не только ограничивают доступ LLM к будущим обучающим данным и их способность использовать RAG, но и негативно влияют на обычных людей, которые вообще не используют LLM.

Прямо сейчас крупные технологические компании живут во временной утопии, где они смогли извлечь выгоду из массового нарушения авторских прав в результате свободного и открытого интернета, но ещё не начали страдать от последствий ущерба, который они наносят экосистеме информации.

LLM действуют как своего рода волшебная воронка, где пользователи видят только выходные данные, а не неисчислимые объёмы высококачественных данных, произведённых людьми, которые должны были быть введены. Как следствие, люди, вероятно, значительно переоценивают, насколько их работа (промптинг) способствовала полученному результату, и сильно недооценивают, сколько работы других людей потребовалось, чтобы сделать это возможным. Это классический эгоцентрический уклон.

Такой уклон приводит к тому, что люди игнорируют угрозу, которую LLM представляют для их собственных источников данных. Проблема усугубляется «AI slop» (низкокачественный контент, сгенерированный ИИ), который наводняет интернет, снижая среднее качество информации. Этот «slop» не только затрудняет поиск высококачественных источников для людей, но и затрудняет обучение LLM, поскольку разрешение «slop» попадать в наборы данных LLM рискует создать петлю обратной связи, которая может привести к коллапсу модели LLM.

LLM по своей сути захватывают систему вознаграждения человеческого мозга. Позволяя людям быстро обобщать и манипулировать работой других, LLM дают то же чувство достижения, которое человек получает от выполнения работы самостоятельно, но без каких-либо усилий.

Мозг от природы очень хрупок к немедленному удовлетворению, что также является частью механизма, лежащего в основе наркотической зависимости. Когда чувство достижения связано с завершением задачи, чем меньше времени тратится на её выполнение, тем чаще происходят выбросы дофамина. Игры-симуляторы часто используют это, воспроизводя реальные задачи, но таким образом, что их можно выполнить с гораздо меньшими усилиями.

Самый крайний пример замыкания системы вознаграждения мозга — это, конечно, употребление наркотиков. Потребляя химические вещества, которые заставляют мозг высвобождать нейромедиаторы, связанные с чувством достижения, пользователи могут генерировать те же чувства успеха, не выполняя при этом никаких задач.

Некоторое время назад я столкнулся с несколькими исследованиями, изучающими влияние Аддералла на нейротипиков. Как люди с СДВГ, так и без него, как правило, сообщают о значительном повышении продуктивности в результате приёма Аддералла. Хорошо известно, что Аддералл повышает продуктивность у людей с СДВГ, вероятно, корректируя их естественный дефицит дофамина и норадреналина.

С нейротипиками же результаты были очень разными. Одно исследование показало, что нейротипики чувствовали себя более продуктивными при приёме Аддералла по сравнению с плацебо. Но их объективная продуктивность оставалась неизменной или даже снижалась под его воздействием. Другое исследование показало, что приём Аддералла привёл к заметному снижению объективной продуктивности.

Поскольку у большинства людей без СДВГ нет дефицита дофамина или норадреналина, Аддералл повышает уровень нейромедиаторов выше нормы, вызывая эйфорию. Поскольку дофамин и норадреналин играют значительную роль в чувствах уверенности, удовлетворения и благодарности; неудивительно, что избыток может исказить суждение.

Будучи сам человеком с СДВГ и много раз случайно принимая двойную дозу Аддералла, я лично испытал обе стороны этого. Настоящий прирост продуктивности от использования крайне необходимого лекарства и перевозбуждённый, самоуверенный словесный суп, на который я смотрю позже с сожалением.

Каждый раз, когда я натыкаюсь на очередное самовосхваляющееся мнение в LinkedIn о том, что программирование умерло или LLM заменяют коров и разрушают молочную промышленность, я думаю об исследованиях Аддералла. Это не слова рационального человека, объективно оценивающего новую технологию, а слова человека, находящегося под кайфом в результате перегрузки дофамином, вызванной LLM. Это вызывает то же самое чувство, что и разговор с человеком под кайфом от кокаина.

Интересно, что исследования, пытающиеся измерить повышение продуктивности за счёт использования LLM, на самом деле показывают обратное. Все чувствуют себя более продуктивными, но данные показывают заметное снижение объективной продуктивности среди пользователей LLM. Моя совершенно ненаучная гипотеза заключается в том, что многие пользователи LLM просто полностью «под кайфом» от дофамина. Эйфория, возникающая в результате их предполагаемых теперь безграничных способностей, затуманивает их суждение.

Это заставляет меня задуматься: а что, если бы мы воспроизвели исследование Аддералла с LLM? Нашли бы мы похожие результаты, что использование LLM повышает продуктивность у людей с СДВГ, увеличивая дофамин и снижая трудоёмкость? Или любое увеличение продуктивности нивелируется тем фактом, что низкое качество вывода присуще LLM и не связано исключительно с психическим состоянием пользователя?

В любом случае, текущие исследования идеально совпадают с тем, что я наблюдаю. Множество гиперболических заявлений от людей, которые только что создали свой первый B2B SaaS, который «точно не провалится», исключительно на основе «вайб-кодинга», но не так уж много сути. Я думаю, люди просто переоценивают свою продуктивность и способности в результате дофаминового всплеска, производимого их машиной мгновенного удовлетворения.

Популярная мудрость, которая рассматривается как своего рода золотая середина между «LLM — бесполезные машины для плагиата» и «LLM заменят всё на свете», — это гипотетический сотрудник, ускоренный ИИ. Хотя это не обязательно плохой совет, я чувствую, что его общепринятая интерпретация противоположна тому, чем она должна быть.

Дело в том, что «инженерия промптов» или как бы это ни называлось сегодня, имеет очень низкий потолок навыков. Промптинг LLM просто не является навыком, независимо от того, что говорят инфлюенсеры, которые определённо раньше не утверждали, что Bored Apes — это новая Мона Лиза. Если вы посмотрите на промпты, которые используют даже разработчики LLM, то это такие вещи, как «пожалуйста, не выдумывай» или «подумай хорошенько, прежде чем отвечать».

На самом деле, я бы привёл веский аргумент в пользу того, что вам не следует «учиться» делать всё с помощью ИИ. Вам следует учиться обычным навыкам. Быть экспертом в предметной области, плохо промптящий LLM, даст вам бесконечно лучшие результаты, чем обычный человек с кружкой «Лучший инженер промптов в мире».

Совет совершенно обратный, и он ведёт людей к чрезмерной зависимости от ИИ, что подводит меня к последней и самой серьёзной проблеме.

LLM — это своего рода сжатие всего интернета с потерями. Они сводят нюансированные темы к форме, которая не совсем понятна новичку, но теряет много нюансов, при этом вызывая чувство полного понимания. Отсутствует лишь то, что вы не знаете, чего не знаете. Если у вас нет глубокого понимания задачи, для которой вы используете LLM, вы понятия не имеете, какие нюансы были утеряны, или, что хуже, какие факты он выдумал.

Но я бы пошёл ещё дальше и поставил 1000 долларов на то, что в ближайшие 5 лет мы начнём видеть множество исследований, показывающих, что чрезмерное использование LLM на самом деле приводит к значительному когнитивному спаду. Мозг во многом похож на мышцу в том смысле, что нейронные пути должны постоянно укрепляться с помощью умственных упражнений. Я подозреваю, что многие из нас испытывали опыт, когда мы не использовали навык достаточно долго, чтобы полностью разучиться ему. LLM делают это возможным, но с каждым навыком.

Поддержание навыков — это не просто регулярный доступ к знаниям, но и взаимодействие с ними различными способами. Есть причина, по которой инструменты изучения языков заставляют вас произносить слова, переводить их, читать их, писать их и использовать в предложениях. Каждый отдельный способ применения знаний или навыков ещё больше укрепляет его и углубляет ваше общее понимание.

Когда люди используют LLM, им не просто представляют поверхностное понимание тем. Они часто передают ИИ и многие из своих способов закрепления знаний. А в некоторых случаях — и свою логику и рассуждения. Чем больше люди полагаются на LLM, тем вероятнее они ограничат свой рост знаний, испытают регрессию навыков и ослабят свою способность к логике и рассуждению.

Таким образом, опасаясь быть заменёнными гипотетическим «сотрудником, ускоренным ИИ», люди отказываются от приобретения необходимых навыков и глубоких знаний, вместо этого предпочитая сосредоточиться на «инженерии промптов». Это несколько иронично, потому что если произойдёт AGI, то «инженерам промптов» не будет никакой необходимости. А если нет, то люди с поверхностными знаниями, которые не могут выполнять задачи без помощи ИИ, будут чрезвычайно многочисленны и, следовательно, чрезвычайно заменяемы.

Вы можете научиться промптить LLM в любое время, но вы не можете выучить десятилетие специализированных навыков за полдня.

Так что да, хотя я могу показаться огромным ненавистником LLM, я чувствую, что у меня есть причины. С учётом сказанного, я по-прежнему регулярно исследую и экспериментирую с LLM, и я всегда открыт к тому, чтобы меня разубедили. Но в настоящее время я этого не вижу. Я не вижу кучи успешных продуктов, бизнесов или вариантов использования LLM. Что я вижу, так это много продажи лопат и огромную чёрную дыру для венчурных денег.

Возможно, когда-нибудь я напишу пост о жизнеспособности LLM для чего-то, что я строю. Но это будет не сегодня, не в этом году и, вероятно, не скоро. На самом деле, я до сих пор получаю предложения о работе по ручному реверс-инжинирингу. Для компаний, занимающихся безопасностью и использующих машинное обучение, очень распространено нанимать ручных аналитиков. Модели машинного обучения требуют постоянной настройки и обновления, что означает огромный рынок для экспертов, которые могут быть частью этого процесса.

Я ожидаю, что именно сюда пойдут LLM, если технология взлетит. Не замена рабочих мест, а переход к тому, чтобы профессионалы использовали свой опыт для тонкой настройки LLM вместо того, чтобы выполнять работу напрямую. На самом деле, я начал получать те же предложения о консультациях для компаний, занимающихся LLM, что и для традиционных ML.

Времена меняются, но технологии развиваются медленно.

Marcus Hutchins, 2025