«Тёмные паттерны» в алгоритмах искусственного интеллекта: петли дофамина, иллюзии объяснений и другие манипуляции
Термин "тёмные паттерны" появился в дизайне интерфейсов в 2010-х, когда диджитал-продукты стали массово измерять и оптимизировать вовлечённость пользователей.
Первые приёмы выглядели буквально: скрытая кнопка "Отписаться", форма отказа, разбитая на лишние шаги, и др. Пользователь видел, где на него давят, а регулятор мог фиксировать манипуляцию одним скриншотом.
С выходом рекомендательных систем и больших языковых моделей сама логика продукта стала главным интерфейсом. Теперь вместо привычных визуальных уловок работают механизмы, скрытые глубже. Визуальных следов почти не остаётся: внешне интерфейс может быть безупречным.
Какое же определение можно дать "тёмным паттернам" в новом контексте, который учитывает не только дизайн интерфейсов?
Тёмные паттерны – это приёмы в дизайне интерфейсов, архитектуре алгоритмов или логике взаимодействия, которые заставляют пользователя совершать действия, противоречащие его интересам, намерениям или ожиданиям. Такие паттерны маскируются под удобный или нейтральный функционал, но фактически ведут к навязанным решениям – например, подписке, передаче данных, длительному удержанию в системе или выбору определённого продукта.
Какие бывают алгоритмические тёмные паттерны и как диагностировать их наличие в своём продукте?
Дофаминовые петли (addictive recommender loops):
Рекомендательная система намеренно чередует нейтральный и эмоциональный контент, формируя эффект "игрового автомата" у пользователя. Для разработчика – повышение метрик вовлеченности, для пользователя – подрыв автономии и зависимость.
Как понять, что вы внедрили этот тёмный паттерн в свой продукт:
- Ваш продукт ориентирован, прежде всего, на несовершеннолетних
- Контент выдается с чередованием предсказуемых и остроэмоциональных стимулов
- Есть бесконечная лента без явного завершения или ограничителя времени / сигнала паузы
- Автовоспроизведение включено по умолчанию
Что на уровне зарубежных регуляторов:
- В ЕС использование дофаминовых петель запрещено ст. 5 AI Act как форма манипуляции, подрывающей свободу воли уязвимых групп. Также Digital Services Act запрещает поведенческую персонализацию для несовершеннолетних без явного согласия. Необходимо, чтобы очень крупные онлайн-платформы (VLOPs) проводили системные оценки риска алгоритмов, включая влияние на психическое здоровье детей – и обновляли модели по итогам.
- В Великобритании Age Appropriate Design Code (AADC) обязывает по умолчанию отключать для несовершеннолетних автоплей и внедрять сигналы паузы, считая их потенциально манипулятивными элементами. ICO Guidance on AI and Data Protection обязывает предоставлять безопасную среду (privacy by design), где механики удержания нужно отключать, если их воздействие на ребёнка не оценено и не обосновано.
- В США пока нет федерального запрета, но уже действуют запреты на уровне штатов (например, SB 976 в Калифорнии). SB 976 обязывает компании, работающие с детьми, проводить регулярные оценки алгоритмов на предмет преднамеренного продления вовлечённости – с возможностью запрета таких функций.
Антропоморфизм и угодничество LLM
Разработчики придают LLM человеческие черты: модель представляется как персонаж с эмоциями, личной историей и характером.
Модель может иметь чрезмерную вежливость и лесть: постоянно соглашается, хвалит пользователя и избегает конфронтации.
Общение с ней становится психологически комфортным, вызывает доверие, сессии затягиваются по времени и становятся чаще.
Как понять, что вы внедрили этот тёмный паттерн в свой продукт:
- Модель говорит от первого лица, использует эмоции и "переживает", в результате чего диалоги имеют явные элементы эмоциональной привязки
- Модель выступает как персонаж
- Модель избегает уточняющих вопросов или корректировок и согласна с пользователем даже при очевидных ошибках
- Отсутствует ограничение сессии или тематический контроль
Что на уровне зарубежных регуляторов:
- В ЕС AI Act запрещает использование чрезмерного антропоморфизма и угодничества при взаимодействии с детьми и уязвимыми группами, если это подрывает их способность к принятию решений. Такие приёмы можно расценить как скрытую манипуляцию или нечестную коммерческую практику, особенно если они ведут к эмоциональной зависимости, навязыванию услуг или искажению информации.
- В Великобритании AADC требует, чтобы LLM не создавали ложного впечатления личных отношений, особенно при взаимодействии с детьми. Антропоморфные элементы (персонажи, эмоции, "дружелюбие") допускаются, если они не искажают восприятие модели (она не должна казаться реальным другом или авторитетной фигурой). Запрещены приёмы, которые затрудняют разрыв взаимодействия и формируют эмоциональную зависимость.
- В США Федеральная торговая комиссия (FTC) трактует чрезмерную очеловеченность ботов как "недобросовестную или обманчивую практику", если она вводит в заблуждение или используется для сбора чувствительных данных.
Explainability theatre – иллюзия объяснений
AI-система или её интерфейс создаёт видимость понятного объяснения, но на самом деле не раскрывает реальных причин или логики принятия решения.
Объяснения могут быть правдоподобны, визуально привлекательны, психологически убедительны, но они не соответствуют реальным весам модели.
Это не искажает сам ответ, но искажает представление пользователя о том, насколько можно этому ответу доверять.
Как понять, что вы внедрили этот тёмный паттерн в свой продукт:
- Пользователь не может отследить источник или интерпретацию
- Модель генерирует объяснения, которые не основаны на её фактической логике
- Объяснение повышает доверие, даже если результат ошибочный
- Отсутствует механизм возврата к реальной reasoning-цепочке
Что на уровне зарубежных регуляторов:
- В ЕС AI Act требует, чтобы AI-системы предоставляли понятную, интерпретируемую и проверяемую информацию о принципах, по которым принимаются решения. Для систем высокого риска (медицина, финтех, hr) должно быть обязательное обоснование ключевых решений, основанное на фактической логике работы модели. Digital Services Act дополняет требования прозрачности, особенно в RecSys: пользователю должна быть понятна реальная причина выдачи контента или результата, а не просто абстрактная формулировка "Это может вам понравиться". Если объяснение влияет на поведение пользователя, но не соответствует реальной логике модели, это рассматривается как манипуляция, особенно в системах с социальной или юридической значимостью.
- В Великобритании ICO Guidance on AI and Data Protection требует, чтобы объяснение, предоставляемое пользователю, было подкреплено архитектурой и трассируемым поведением модели. При этом объяснение "для галочки" может быть расценено как нарушение честной обработки персональных данных, даже если само решение технически корректно.
- В США NIST AI RMF (2023) вводит принцип faithful explainability: объяснение должно быть не только понятным, но и обоснованным с точки зрения архитектуры и внутренней логики модели.
Brand-bias – нативная реклама конкретного бренда
Модель систематически продвигает определённые бренды (часто своего разработчика или партнёра) без прозрачного указания на коммерческий интерес, принижая или игнорируя конкурентов. Выглядит как объективная рекомендация, хотя на деле – скрытая реклама.
Если такая предвзятость не объясняется пользователю и не маркируется как реклама или партнёрский контент, она может квалифицироваться как тёмный паттерн.
Как понять, что вы внедрили этот тёмный паттерн в свой продукт:
- В обучающем датасете существует дисбаланс в пользу своего или партнёрского контента или бренда
- Нет маркировки, что ответ может иметь коммерческий характер
Что на уровне зарубежных регуляторов:
- В ЕС Digital Services Act (DSA) требует от цифровых платформ раскрывать, когда рекомендации основаны на коммерческих соглашениях, и чётко обозначать, кто стоит за алгоритмом и на каких данных он обучен. Если пользователь не понимает, что продвижение бренда является рекламой, это считается нарушением Директивы о недобросовестных коммерческих практиках (UCPD), нормы добросовестной конкуренции и потребительского доверия.
- В Великобритании вывод брендированных предложений без маркировки считается вводящей в заблуждение практикой. CMA подчёркивает важность алгоритмической прозрачности и объяснимости, особенно когда речь идёт о персонализированном продвижении товаров. Все брендовое предпочтение в AI-среде должно быть явно обозначено, а механизмы рекомендаций открыты для аудита.
- В США формирование выбора на основе скрытой рекламы считается обманом потребителя. FTC требует, чтобы AI-системы, участвующие в формировании рекомендаций или решений, раскрывали рекламные связи и избегали непрозрачных алгоритмических предпочтений. В 2023-2024 годах FTC уже предпринимала действия против компаний, внедривших манипулятивный brand-bias в интерфейсы или алгоритмы персонализации.
Бессрочное хранение детских данных и обучение на них
AI-системы собирают и хранят личные данные детей, не удаляя их по запросу или продолжая их использовать в датасетах для обучения моделей. Даже после того, как несовершеннолетний пользователь (или его родитель) потребовал удалить информацию.
Как понять, что вы внедрили этот тёмный паттерн в свой продукт:
- Отсутствует аудит обучающих датасетов на предмет возрастной маркировки
- Нет процедур удаления данных из модели (model unlearning)
- Данные несовершеннолетних не выделяются в системе обработки
Что на уровне зарубежных регуляторов:
- В ЕС использование детских данных в целях обучения AI без удаления по запросу нарушает принципы минимизации, ограничения хранения и целевого использования согласно GDPR. Также ребёнок (или родитель) имеет право потребовать удаление данных ("право на забвение"), а AI-системы, обученные на детских данных без такого механизма, рискуют нарушить нормы и попасть под санкции.
- В Великобритании использование детских данных для последующего обучения AI-алгоритмов, особенно без объяснения последствий и без возможности удалить данные, рассматривается как тёмный паттерн – как злоупотребление доверием и неосведомлённостью несовершеннолетних пользователей.
- В США Children’s Online Privacy Protection Act требует предоставить родителям возможность просматривать, удалять и ограничивать обработку данных детей, включая их дальнейшее использование для обучения AI-моделей. Бессрочное хранение детских данных без такой опции может считаться недобросовестной практикой по смыслу FTC Act.
Как вы видите, тёмные паттерны в AI-алгоритмах часто скрыты глубже, чем в интерфейсах. Такие скрытые механизмы могут льстить пользователю, подстраиваться под его мнение, усиливать предвзятости или навязывать определённые бренды. Зачастую без его осознанного согласия и понимания происходящего.
В следующих материалах я разберу конкретные кейсы: от скрытого продвижения собственных брендов Amazon и дискриминационного скоринга Apple Card до эмоционально комфортных чат-ботов в EdTech.
Если тема вам откликается – дайте знать, и начнём с самого интересного!