404 Media: OpenAI нанимает «сотни» подрядчиков, которые просматривают переписки пользователей с ChatGPT для оценки и улучшения ответов бота
Они не видят имён пользователей, но некоторые запросы могут содержать конфиденциальную информацию.
- Об этом 404 Media пишет со ссылкой на внутренние документы компании, в которых используется кодовое название «Проект Лилия».
- Работа организована в три этапа. Сначала подрядчик читает реальный запрос пользователя и описывает, что, по его мнению, тот хочет узнать у ChatGPT, а затем оценивает набор сгенерированных ответов.
- Каждый ответ оценивается по шкале от 1 («неприемлемо») до 7 («трудно существенно улучшить»), после чего рецензент письменно обосновывает оценку. Он обязан отметить минимум три фрагмента ответа как «соответствующие» или «несоответствующие» и объяснить почему.
- По данным издания, подрядчики среди прочего обучают ИИ не очеловечивать себя и быть «менее подобострастным», избегать неуместных эмодзи и «ИИ-шаблонов», не имитировать личный опыт.
- Фактическую точность подрядчики не проверяют, но могут отмечать замеченные ошибки или отсутствие источников в «высокорисковых» темах, например, медицине, праве и финансах.
- По словам собеседника 404 Media, который работал в «Проекте Лилия», ему платили больше $50 в час. Работу он описал как «однообразную», добавив, что инструкции часто меняются и противоречат сами себе.
- На сайте OpenAI говорится, что вручную могут проверять запросы, нарушающие условия использования сайта или представляющие угрозу безопасности, но это отдельная процедура, не связанная с обучением моделей, отмечает издание.
- На вопрос, уведомляют ли пользователей о том, что их переписки могут просматриваться людьми для улучшения ответов ИИ, в OpenAI не ответили. После выхода материала компания указала на раздел, в котором говорится, что сообщения могут просматриваться людьми «для улучшения ответов».
- В OpenAI также заявили, что обрабатывают чаты пользователей с помощью специальной модели Privacy Filter, которая удаляет из переписок личную информацию, прежде чем они попадут к подрядчикам. Но она может ошибаться и пропускать некоторые данные, допустили в компании.
- Переписки не используются для улучшения ответов, если отключить в настройках ChatGPT параметр «Совершенствовать модель для всех», добавили в компании. Для тарифов Free, Plus и Pro он включён по умолчанию.
- В Anthropic заявили 404 Media, что тоже используют ручную проверку для улучшения своих моделей. Но подробностей издание не приводит. О проверке «некоторых» запросов также говорится в правилах Google Gemini.