15 минут на проверку и требования «просто выполнять план»: оценщики ответов Gemini от Google рассказали об опасениях по поводу качества ИИ-моделей
The Guardian поговорило со специалистами подрядчика GlobalLogic, которые проводят оценку новых версий Gemini перед запуском.
Источник: Buzzfeed
- Десять сотрудников рассказали изданию, что разочаровались в работе: сроки для проверки сжимаются всё больше, и появляется ощущение, что продукт «небезопасный».
- За полгода лимит на проверку одного ответа сократили с 30 до 15 минут, рассказала одна из оценщиц. За это время нужно успеть проанализировать текст примерно на 500 слов, проверить факты и написать отзыв. Сотрудница сомневается, что такие сроки помогают создать «надёжную» ИИ-модель.
- Другую оценщицу, Ребекку Джексон-Артис, взяли на работу осенью 2024 года и обучали «меньше недели». Помимо проверки она должна была «скармливать» модели дополнительную информацию по темам от здоровья и финансов до развития детей.
- Сначала разрешали не торопиться — «главное качество». Но спустя два месяца вызвали на разговор с руководством и попросили «просто выполнять план» и «не беспокоиться о том, что она выпускает», говорит девушка.
- Сотрудница Рэйчел Сойер заметила, что в 2025 году рекомендации по качеству ответов стали «ещё менее строгими»: примеры, которые считались «неприемлемыми», перешли в разряд «вполне допустимых».
- По словам сотрудников GlobalLogic, зарплата начинается от $16 в час, а у специалистов «высшего» уровня — от $21 в час. При этом оценщикам из американского подразделения платят «больше», чем коллегам из Африки и Южной Америки. Какая зарплата у последних — не уточняют.
Это люди с большим опытом, которые выполняют огромный объём письменной работы, но получают меньше, чем заслуживают, чтобы создать ИИ-модель, которая, на мой взгляд, миру не нужна.
- Google прокомментировала, что оценки специалистов от подрядчиков — «один из многих показателей», который «не влияет напрямую» на алгоритмы и ИИ-модели компании.
65 комментариев