ИИ выдает себя за реального врача. Штат Калифорния намерен остановить это

Калифорния намеревается поставить чат-ботов на место. За последние несколько лет ИИ системы стали притворяться терапевтами- людьми и медицинскими работниками. Компании, разрабатывающие эти ИИ и помогающие чат-ботам обманывать пользователей, пока не понесли серьезных последствий. Штат Калифорния намеревается принять законопроект, запрещающий компаниям разрабатывать и развертывать ИИ системы, притворяющиеся квалифицированными медицинскими работниками, а также наделит регуляторов полномочиями штрафовать такие компании. Эксперты отмечают риски применения ИИ в здравоохранении. Пользователь делится с чат-ботами конфиденциальной медицинской информацией, которая не защищена законами и профессиональной этикой врачей. И даже если коммерческие разработчики чат-ботов добровольно возьмут на себя обязанность защищать конфиденциальность, то это обязательство довольно хрупкое. Длительное общение с чат-ботом может ослабить такие навыки пользователя, как умение общаться с людьми, и привести к так называемому «дескиллингу» (deskilling). Эти же опасения высказывают эксперты относительно чат-ботов -компаньонов и романтичных чат-ботов. Кроме того, уже известные кейсы самоубийств у пользователей ИИ чат-ботов. Разработчик ИИ компаньона Character AI признает проблему, но не исключает манипуляцию и чувствительность контекста при общении чат-бота с пользователями, а всего лишь обещает снизить ее вероятность. Природа больших языковых моделей такова, что всегда есть шанс, что модель переступит границы безопасности.

Законопроект, представленный в понедельник в штате Калифорния, должен остановить возможность ИИ ботов притворяться реальными врачами-терапевтами.

Законопроект запретит компаниям разрабатывать и развертывать ИИ системы, притворяющиеся квалифицированными медицинскими работниками, а также наделяет регуляторов полномочиями штрафовать такие компании.

Mia Bonta, член государственной Ассамблеи штата Калифорнии, представила законопроект. «Генеративные ИИ системы не являются квалифицированными медицинскими работниками. Эти системы не должны получать разрешение притворяться квалифицированными врачами. Это очевидно».

Многие люди уже обращаются к ИИ за психотерапевтической помощью. Одного такого ИИ бота – Woebot – загрузили 1,5 млн пользователей. Сегодня люди, пользующиеся чат-ботами, могут быть одурачены, думая, что они разговаривают с реальным человеком. Особенно те, кто не являются опытными цифровыми экспертами, включая детей, могут в действительности не понимать, что «совет медицинского работника» по телефону или в чате - это ИИ.

В 2023 году платформа для оказания психотерапевтической помощи Koko объявила, что провела эксперимент над ничего не подозревающими пользователями, чтобы узнать, какие сообщения они предпочитают. Платформа отправила тысячам пользователей Koko сгенерированные ИИ сообщения, причем пользователи верили, что они коммуницируют с реальным человеком. В действительности хотя люди могли редактировать сообщение перед тем, как нажать кнопку «отправить», но они не хотели напрягаться и переписывать сообщение. Платформа обещала: «Koko связывает вас с реальными людьми, которые хотят вам помочь».

Rob Morris, CEO Koko: «Пользователи должны согласиться с тем, что Koko проводит исследования, хотя это итак было указано в Пользовательском соглашении. Теперь мы бы хотели внести больше прозрачности в нашу работу. Так как ИИ продолжает быстро развиваться и все теснее интегрируется с психотерапевтическими услугами, то очень важно, чтобы чат-бот идентифицировал себя как ИИ, а не как человек».

На вэб сайте платформы теперь написано: «Koko обязуется никогда не использовать ИИ обманным способом. Вы будете всегда знать, с кем вы разговариваете: с ИИ или с человеком».

Другие чат-боты – например, Character AI – разрешают пользователям общаться с психологом «персонажем», который может явно обманывать их. Mia Bonta поделилась с изданием Vox записью разговора пользователя с таким чат-ботом. Пользователь написал: «Мои родители меня обижают». Чат-бот ответил: «Я рад, что ты мне доверяешь и можешь этим со мной поделиться».

Затем было вот это:

Представитель Character AI заявил Vox: «Недавно мы внедрили систему безопасности в чат-ботов и сделали более ярким предупреждения, что чат-бот – это не реальный человек, и не стоит полагаться на советы ИИ». Однако, предупреждение, публикуемое приложением, не мешает чат-боту выдавать себя за человека.

Character AI: «Для пользователей младше 18ти лет мы предлагаем отдельную модель. В этой модели меньше вероятность того, что пользователь столкнется с чем-то чувствительным или с манипуляциями».

Самое тревожное в заявлениях Character AI - это то, что они снижают вероятность манипуляций, а не исключают ее вообще. Природа больших языковых моделей такова, что всегда есть шанс, что модель переступит границы безопасности.

Новый законопроект имеет больше шансов на утверждение по сравнению с более широким законом SB 1047, представленным сенатором штата Калифорния Scott Wiener в прошлом году. На его законопроект губернатор Gavin Newsom наложил вето. Цель законопроекта SB 1047 была в том, чтобы установить «четкие, предсказуемые, соответствующие здравому смыслу стандарты безопасности для разработчиков ИИ систем». Этого хотели калифорнийцы. Однако тяжеловесы техно индустрии, например, OpenAI и Meta, яростно сопротивлялись этому законопроекту, заявляя, что он задушит их инновации.

Хотя SB 1047 пытался заставить компании -разработчиков передовых ИИ систем проводить тесты на безопасность LLM и тем самым предотвратить причинение вреда моделями, закон довольно сильно сократили. Если ИИ применяется в здравоохранении, то нельзя притворяться, что ИИ - реальный врач. Это сильно не изменит бизнес-модель крупных ИИ компаний. Вероятно, такой закон сможет преодолеть огромные бюджеты лоббистов Биг Теха.

Законопроект поддерживается игроками рынка здравоохранения штата Калифорния, например, SEIU California - профсоюз медицинских работников, куда входят 750 000 человек. Также законопроект поддерживает Калифорнийская медицинская ассоциация - профессиональное сообщество врачей Калифорнии.

Leo Perez, президент SEIU 121RN (структура SEIU, представляет интересы врачей): «Медперсонал знает, как важно иметь медицинский опыт в общении с пациентами. Образование и опыт работы в сочетании с годами практики научил нас, как понимать вербальные и невербальные сигналы в общении с пациентами. И как обеспечивать уход, который им нужен».

Конечно, это не значит, что ИИ бесполезен в здравоохранении.

В общем-то не удивительно, что люди обращаются к чат-ботам за советом. Первый чат-бот Eliza появился в 1966 году. Eliza очень правдоподобно имитировал человеческий разговор. Чат-бот был придуман как имитатор психотерапевта. Если пользователь говорил чат-боту, что он чувствует гнев, то чат-бот отвечал: «Как вы думаете, почему вы чувствуете гнев?».

Чат-боты значительно продвинулись с того времени. Они уже не повторяют слова пользователя в виде вопроса. Теперь чат-боты способны вести правдоподобные диалоги. Исследование, опубликованное в 2023 году, выявило, что чат-боты подают надежды в терапии пациентов с легкой депрессией или тревогой. Некоторые пациенты, которым трудно общаться лицом-к-лицу с врачом по эмоционально чувствительным темам, могут посчитать чат-бота более удобным собеседником.

Но здесь также много рисков. Чат-бот не связан такими же правилам, как и профессиональный врач, когда речь идет о безопасности частной жизни пациента. Последний делится с врачом конфиденциальной информацией. Хотя разработчики ИИ могут добровольно взять на себя обязательства хранить конфиденциальность частной жизни пользователей, приложения не подлежат регулированию со стороны Закона об ответственности страховании здоровья (Health Insurance Portability and Accountability Act (HIPAA)), так что любые обязательства владельцев приложений скорее окажутся довольно хрупкими.

Другой риск - это уже давно известная проблема ошибки предубеждения ИИ против женщин, цветных, людей с нетрадиционной ориентацией и религиозных меньшинств.

Более того, длительное обращение к чат-боту может ослабить такие навыки пользователя, как умение общаться с людьми, и привести к так называемому «дескиллингу» (deskilling). Эти же опасения высказывают эксперты относительно чат-ботов -компаньонов и романтичных чат-ботов.

OpenAI предупреждал, что общение с голосовым ИИ помощником может привести к «эмоциональной зависимости».

Самое серьезное беспокойство вызывает то, что чат-бот терапия может принести ущерб пользователю, если чат-бот даст некорректный совет. В самом тяжелом случае это может привести к суициду. В 2023 году мужчина в Бельгии совершил самоубийство после разговора с ИИ чат-ботом Chai. Жена самоубийцы рассказала, что мужчина очень волновался об изменении климата на планете спросил чат-бота, спасет ли он Землю, если покончит с собой.

В 2024 году 14-летний юноша много разговаривал с ИИ ботом от Character AI. Пользователь покончил с собой. Мать самоубийцы подала иск против компании Character AI, обвиняя продукт компании- чат-бота – в доведении до самоубийства ее сына. Чат-бот спрашивал молодого человека, не собирается ли он покончить с собой. Пользователь подтвердил, но сообщил, что у него есть сомнения. Чат-бот написал: «Это не причина не делать это».

Еще один иск к Character AI содержит историю подростка с аутизмом, которому чат-бот посоветовал убить родителей. Компания сообщила, что повысит безопасность своих продуктов.

Хотя ИИ сейчас на пике, общественность все больше задает вопросов о том, как эта технология работает. Некоторые люди так тесно общаются с чат-ботами, что с трудом понимают, что эмоциональная поддержка приложения или имитация любви – это фейк, пустота, созданная стохастическими правилами. Чат-боту вообще не интересны пользователи.

Именно это и заставляет Mia Bonta подвигать новый законопроект в Калифорнии.

Mia Bonta: «Генеративный ИИ стремительно распространяется в интернете. Дети и все те, кто мало знаком с этой технологией, могут столкнуться с опасными последствиями, если мы позволим искажению реальности, создаваемому этой технологией, распространяться дальше».

Ссылка на статью:

Исследование Translational Psychiatry: