Когнитивные искажения нейросетей

Тему этого поста мне подкинул самый технологичный и одновременно жёлтый банк России. Я решил посчитать полис КАСКО на свою машину, и мне это даже удалось — цена получилась вкусной, и я отложил покупку полиса до конца месяца: до момента, когда закончится старый.

Но через 5 минут получил уведомление, что мою машину, к сожалению, страховать не хотят по итогам анализа и с учётом страховой политики. А на следующий день мне пришла не очень таргетированная реклама о страховании своего автомобиля. Тут я уже пообщался с операторами поддержки, которые сначала тщательно проверили мой запрос и с сожалением сообщили, что да, застраховать не получится.

А рассылка, к сожалению, оказалась ошибочной — принесли извинения, и на этом история закончилась. Могу сказать, что с этим банком мне не везёт уже не в первый раз, да и с некоторыми другими технологичными банками тоже.

Я, например, не могу оформить рассрочку на 5000 рублей, хотя мой кредитный рейтинг почти максимальный, и я вхожу в 3% клиентов с таким же рейтингом.

Многие компании всё чаще заявляют о том, что планируют передавать принятие типовых решений машинам, нейронным сетям и обученным моделям. Так повышается точность и скорость обработки ответа, снижается ошибка набившего оскомину человеческого фактора.

Хайп вокруг этой темы основан на том, что нейронная сеть может проанализировать большое количество данных и принять наиболее правильное решение, основанное на данных. Ведь для машины, в отличие от человека, почти нет предела количеству анализируемых параметров.

Основная проблема, которая видится мне в таком подходе, состоит в том, что для того чтобы понять, почему машина принимает те или иные решения и не ошибается ли она, потребуется другая нейронная сеть.

Эта нейронная сеть должна быть способна проанализировать алгоритмы первой и определить ключевые факторы, влияющие на принятие тех или иных решений.

Эта работа очень похожа на работу психоаналитика, которую Эрик Берн подробно объяснил в своей книге «Введение в транзактный психоанализ».

Поведение многих людей, как и принимаемые ими решения, происходят несознательно, возникают в глубинах нашей психики и только рационализуются на самом верхнем слое мозга.

То есть мы очень часто действуем неосознанно, на основании сложившихся за многие годы шаблонов. Пока это поведение укладывается в общественные рамки и не мешает индивиду и обществу, мы не задумываемся об основах, заложенных в это поведение.

Но если поведение нуждается в корректировке, а значит, и в понимании первопричин его возникновения, без посторонней помощи и всестороннего анализа тут не разобраться.

Книга приводит множество примеров из практики психоанализа, хоть порой и весьма причудливо анонимизирует эти истории.

В одной из таких историй Эрик Берн описывает некоего мистера Кинга, который испытывал неприязнь к наезднику по фамилии Кастер. Но объяснить, с чем связана эта неприязнь, не мог и не мог припомнить, что могло её вызвать. В ходе сеансов психоанализа доктор и мистер Кинг установили, что в возрасте трёх лет отец мистера Кинга сначала подарил ему седло, а затем отобрал и продал за некий проступок.

Мистер Кинг был ребёнком и знал слишком мало слов и понятий, чтобы правильным образом разложить всю свою гамму чувств. Потому ему пришлось сохранить свою неприязнь в неосознанных образах и привязать к уже известному образу — лошадям и всему, что с этим связано.

В итоге ретроспективный анализ с психотерапевтом помог заново осознать пережитый опыт и с уже развитым сознанием и широкой понятийной базой переосмыслить ситуацию из детства.

То же самое происходит и с нейросетями, которые вобрали в себя не самые лучшие данные, сырые идеи и когнитивные искажения создателей. На этих базовых моделях строятся новые, которые начинают использовать определённый тренд, результат которого мы видим, но объяснить не в состоянии.

В ближайшем будущем нам потребуются такие же обученные нейросети-психиатры, которые будут анализировать нейросети, понятия и принципы, вложенные в их основы, и предлагать корректировки в случае некорректного поведения.

И чем скорее такие сети появятся, тем лучше для всего человечества. Бесконтрольные сети могут стать такими же опасными, как и люди с психологическими отклонениями.

По моему личному мнению, не стоит слишком много управления отдавать в нейросети, веря в их тотальную непредвзятость и логичность. Особенно учитывая тот факт, что создатели этих самых сетей зачастую не могут сами себе объяснить причин своего поведения.

Ну а пока я остаюсь без некоторых сервисов, но с уведомлениями о «возможности» их использования и без понимания почему.