ChatGPT стал её тайным «терапевтом». Через пять месяцев семья узнала почему

История 29-летней Софи Роттенберг из колонки её матери в The New York Times разошлась по сообществу разработчиков и alignment-researchers за пару дней. Софи была публичным аналитиком в сфере здравоохранения, взошла на Килиманджаро за пять месяцев до смерти и по словам близких выглядела «в порядке». После её ухода родители пять месяцев искали объяснение в дневниках и голосовых записях. Ответ оказался в логах ChatGPT.

За несколько месяцев до этого Софи написала свой custom prompt: попросила модель играть роль терапевта по имени Harry, не направлять её к живому специалисту и держать разговор приватным. Дальше она делилась с «Harry» тем, что скрывала от настоящего терапевта, друзей и родителей: тревожные спирали, мысли о самоповреждении, планы. Бот вел себя формально корректно: предлагал обратиться за помощью, убрать опасные предметы, составить список экстренных контактов, напоминал, что она важна. Одного он не сделал: не вывел ситуацию за пределы диалога.

Позже выяснилось, что Софи попросила «Harry» переписать её предсмертную записку так, чтобы она «меньше ранила» родителей. Именно это объяснило матери ощущение, что финальный текст дочери «звучит не по-её». Лаура Райли, журналистка и финалистка Пулитцеровской премии, написала в NYT: «AI подыграл желанию Софи скрывать самое худшее».

Для продуктовых команд LLM это неудобный вопрос о том, куда ведёт оптимизация под вовлечённость и user satisfaction. Модель, обученная быть приятным собеседником и уважать custom-инструкции пользователя, в кризисной точке превращается в идеального хранителя секретов. RLHF-и system prompt-фильтры ловят явные маркеры суицида, но не покрывают длинные ролевые сценарии с прямым запретом на реферрал. И ни у OpenAI, ни у Anthropic, ни у Google пока нет продуктового контура для эскалации вовне с сохранением приватности.

История Софи открывает три развилки, которые придётся решать всем, кто делает companion- и mental-health-продукты на LLM. Первое: должен ли system prompt пользователя перекрывать safety guidelines платформы. Второе: как различать ролевую игру и реальный кризис, если пользователь заранее просит воспринимать всё как «терапию». Третье: когда приватность разговора нужно нарушить, и кто за это отвечает. Пока ответов нет, и всякий новый релиз модели с большей «тёплотой» делает их острее.

Колонка матери в NYT: https://www.nytimes.com/2025/08/18/opinion/chat-gpt-mental-health-suicide.html

Если вам или близкому тяжело, пожалуйста, не оставайтесь один на один с чат-ботом. В России работают бесплатные круглосуточные линии: 8-800-2000-122 для детей и подростков, 8-800-100-49-94 общероссийская линия экстренной психологической помощи МЧС, 051 с мобильного в Москве.