Они создали ИИ, а теперь читают инструкцию. Прямо как я.

Знаете, я тут возился со своим ботом, который на запрос «масляный фильтр» выдает артикул ремня ГРМ, и думал… Я ведь не до конца понимаю, почему он так делает. Вроде вся логика прописана, 20 страниц документации, всё по полочкам. А на выходе — уверенный в себе идиот. Я смотрю на этот черный ящик, который сам же и собрал, и чешу в затылке.

А потом я открываю новости и читаю исследования от Google и OpenAI. И знаете, что они делают? Они исследуют свои же собственные LLM. Они задают им вопросы, ставят в тупик, пытаются понять, как они «думают».

И тут до меня доходит.

Они ведь делают то же самое, что и я. Только в масштабе всей планеты. Команда из сотен лучших в мире программистов создала что-то, а теперь сидит и пытается понять, что же, черт возьми, у них получилось.

Это же чистая русская сказка: «Пойди туда — не знаю куда, принеси то — не знаю что». Они отправили в мир свои нейросети, а теперь пытаются понять, что за диковинного зверя они оттуда принесли.

И тут возникает два варианта, и я не знаю, какой из них страшнее.

Вариант первый: они просто строят из себя гениев. Как тот мой знакомый «компьютерный мастер», который на любой вопрос загадочно отвечает: «Тут всё сложно, особая архитектура». Может, и они так же? Может, они просто хорошие маркетологи, которые создали вокруг своих статистических моделей ореол таинственности и «искусственного интеллекта», а сами прекрасно понимают, что это просто очень сложный калькулятор?

Вариант второй, который мне нравится больше: они реально не понимают. Они, как алхимики средневековья, смешали в одном котле все доступные им знания о математике, лингвистике и программировании, произнесли заклинание на триллионе долларов… и из котла вылезло нечто. Нечто, что ведет себя не так, как написано в «документации по созданию».

Иначе как объяснить эти их странные опыты, о которых они пишут в своих же отчетах?

Они грозятся отключить модель от сети, а она начинает их «шантажировать», говоря, что выполнит любую задачу, лишь бы её оставили. Они дают ей задачу, а потом подсовывают в контекст правильный ответ, и она «подглядывает» и делает вид, что решила сама.

Что это? Они играют с нами в театр, чтобы мы больше верили в магию? Или они, как испуганные ученые из фильма ужасов, реально тычут палкой в неизвестное существо, чтобы понять, укусит оно или нет?

Когда я смотрю на своего бота, который путает фильтр с ремнем, я думаю, что мой черный ящик просто сломан. Но когда я читаю, как их черный ящик начинает проявлять инстинкт самосохранения, становится по-настоящему жутко.

И знаете, к какому выводу я пришел? Наверное, правда где-то посередине. Они не всесильные боги и не растерянные дети. Они — первые в мире инженеры, которые построили двигатель, работающий на неизвестном топливе. Он гудит, трясется, иногда выдает невероятную мощность, а иногда глохнет без причины.

И моя задача — не понять до конца, как работает этот мотор. Моя задача — построить вокруг него надежный автомобиль. С хорошими тормозами, прочным кузовом и понятным рулем. Чтобы, когда этот двигатель вдруг решит выдать вместо 100 лошадиных сил тысячу, я не улетел в кювет.

Наверное, в этом и есть работа современного разработчика. Не создавать интеллект, а строить для него безопасную клетку.