Раньше патология компании жила в людях. Теперь у неё есть мозги.
Раньше автоматизация была тупой. И это было честно. Скрипт делал ровно то, что ему сказали — ни больше, ни меньше, ни чьих-то интересов внутри.
Теперь системе дают мозги.
Но мозги — это всегда чьи-то мозги.
И вопрос тут не в том что, "умный ИИ или нет". Вопрос в следующем — чью картину мира он теперь считает нормой.
Я понял это во время внедрения интеллектуального слоя в систему учёта клиентов. Причём проблема оказалась вообще не в "плохом ИИ". Никто ничего специально не ломал.
Подрядчик где-то "временно" зашил идентификатор руками. Планировщик поставили раз в час, потому что "так быстрее". Часть программных вызовов решили обходить вручную. Документацию написали уже после того как всё собрали. А ИИ начал уверенно достраивать пробелы там, где не хватало контекста.
И в какой-то момент система начала незаметно уплывать. Не в сторону моей архитектуры. В сторону интересов всех, кто к ней прикасался.
Это не баг. Это вопрос.
"Кто вообще наделяет систему смыслом?"
В компании нет одной логики.
У продаж своя правда. У разработки своя. У основателя или собстенника своя. У безопасников своя. И все хотят чтобы именно их способ мышления стал "нормальным".
Раньше этот конфликт хотя бы был виден. Кто-то мог почувствовать что решение идиотское. Кто-то спорил. Кто-то мог просто сказать — это полная херня, переделываем.
ИИ этого не чувствует. Он не видит конфликта. Он видит повторяющуюся схему.
И если система обучается на реальных решениях, на реальном поведении людей, на том что компания делает — а не на том что она декларирует — то нормой становится та внутренняя сила, которая доминирует. Не самая этичная. Не самая умная. Самая влиятельная. Бл*ть.
Это уже не разработка. Это организационная биология.
Раньше внутренняя патология компании жила в людях — и хотя бы умирала вместе с ними. Теперь она начинает закрепляться в системах. Воспроизводиться. Масштабироваться.
Не в фантастике про сверхразум. В обычной корпоративной рутине.
Это и есть настоящий п*здец.
А чья логика доминирует в вашей компании — и вы вообще об этом думали, когда внедряли автоматизацию?