Как снизить риски того, что ИИ навредит бизнесу и сервису: три способа

Для бизнеса и клиентского сервиса критично, когда ИИ-модели галлюцинируют, неверно понимают неоднозначные входные данные, с трудом учитывают культурные нюансы, контекст и эмоции, — качество ответов страдает. Как обучение с подкреплением на основе отзывов, Guardrails-модели и конституционный ИИ улучшают работу ИИ и снижают риски для компаний, связанные с его внедрением в бизнес — в блоге.

Обучение с подкреплением на основе отзывов, или обратной связи (reinforcement learning from human feedback, RLHF) подразумевает, что сначала разработчики обучают первоначальную модель стандартными методами. Далее готовят модель вознаграждения на основе человеческих предпочтений. Затем с помощью модели вознаграждения дообучают первоначальную модель.

Модель вознаграждения обучают так: человек читает и ранжирует ответы первоначальной языковой модели, затем те ответы и их оценки «скармливают» модели вознаграждения. Так она обучается предсказывать, насколько сгенерированный контент соответствует ожиданиям человека.

Первоначальную модель за счёт модели вознаграждения настраивают вести себя так, чтобы она соответствовала предпочтениям человека: модель вознаграждения оценивает ответы первоначальной модели, а та стремится получать максимально высокие баллы и давать те ответы, которые понравятся модели вознаграждения больше всего. Дообучение проходит в несколько циклов.

RLHF позволяет включить эмоциональный интеллект в процесс обучения ИИ, чтобы модель запоминала предпочтения человека, улучшала свои результаты и со временем лучше учитывала контекст при подготовке ответа.

Ограничения для контента, созданного ИИ — это жесткие границы для типов контента, который разрешено создавать генеративному ИИ. Их внедряют, чтобы ИИ не генерировал оскорбительный, предвзятый или фактически недостоверный контент.

Guardrails-модели следят за безопасностью и конфиденциальностью контента, то есть за тем, чтобы контент был безопасным, этичным, законным — даже в случае попытки пользователя обойти эти ограничения. Контент на острые темы вроде политики такие «щиты» не пропускают к пользователю или маркируют.

Также контролируют качество отклика и его релевантность: соответствует ли ответ запросу пользователя, не перескакивает на незаданную тему, предлагает действительные и безопасные URL-адреса, выдает ли неустаревшую информацию.

Сервисы защиты мониторят качество языка ответа, отлавливают орфографические, грамматические, пунктуационные, лексические и стилистические ошибки.

Отвечают такие модели и за фактическую точность и целостность контента, в том числе могут блокировать упоминание конкурентов в ответах, проверять верность интерпретации данных, блокируют бессмысленную выдачу.

Наконец, в случае генерации кода или структурированных данных, Guardrails-модели отслеживают логическую согласованность и функциональность: корректность структуры и синтаксиса, безопасность и исправность кода.

Конституционный ИИ (Constitutional AI, CAI) — это более комплексная, кодифицированная форма ограничений, которая снижает риски, связанные с ИИ-контентом. Ключевым для метода является набор принципов и правил, или конституция, с которой модель сверяет сгенерированный контент прежде, чем выдать его пользователю. Эти принципы соответствуют организационным, правовым, социальным и этическим стандартам. CAI заставляет LLM, следовать набору принципов, тем самым делает их безопаснее.

* * *

Поскольку компании продолжают внедрять генеративный ИИ, им важно нацелиться не просто на разворачивание все более мощных систем, а на разработку ИИ, на который люди могут положиться и которому могут доверять. Успех этой мощной технологии будет измеряться не сложностью внедрения, а ее способностью давать людям возможность решать проблемы точно и этично.