Оценивая ответы чат-бота Bard, подрядчики Google нередко действовали наугад из-за нехватки времени — Insider Статьи редакции

Особенно если совсем не разбирались в теме вопроса.

• Подрядчики из фирмы Appen, которых Google наняла для оценки точности ИИ-ответов, пожаловались, что времени, которое им дают на решение, не хватает, чтобы осмысленно подойти к оценке, узнало издание Insider. По его словам, внештатникам говорят, что это ответы «теоретического чат-бота», но даты внутренних переписок об этом совпадают с периодом, в который Google анонсировала Bard.
• В инструкции указано, что задача подрядчиков — изучить запрос для ИИ, будь то вопрос, призыв к действию или заявление, и выбрать наиболее подходящий ответ бота из двух предложенных. Они также могут пояснить письменно, почему сделали такой выбор, чтобы бот обучался в том числе и на этих данных. Одни из основных критериев оценки, помимо прочих, — связность и точность.
• На каждую такую задачу отводится ограниченное количество времени, которое разнится от случая к случаю: иногда это несколько минут, а иногда — всего 60 секунд. По словам внештатников, дать адекватную оценку ответу в столь сжатые сроки «трудно», особенно если это тема, в которой они не разбираются, — например, блокчейн и технологии в целом.
• Так как выплаты суммируются на основе времени, которое отводится на каждую задачу, работникам приходится выполнять даже те, на которые они не знают точного ответа, — «просто чтобы получить деньги».

• Один из опрошенных внештатников также признался, что был бы рад приложить все усилия, чтобы убедиться, что чат-бот не исказил факты и выдал лучший ответ из возможных, но такие исследования порой требуют нескольких часов, которые Google не оплатит.

• В конце 2022 года Google увидела угрозу в ChatGPT и объявила «красный код» внутри компании, бросив силы на разработку «своего ответа» и попросив помощи у сооснователей Сергея Брина и Ларри Пейджа. Первый в феврале 2023-го вернулся к работе над кодом.
• Тогда же СМИ сообщили, что Google вложила более $20 млн в аналог «напарника программиста» Copilot и инвестировала $300-400 млн в ИИ-стартап Anthropic с выходцами из OpenAI.
  
• 6 февраля компания анонсировала бота Bard на нейросети LaMDA. 8 февраля, через день после выхода «нового Bing» от Microsoft, компания также провела презентацию, на которой, по прогнозам, должна была рассказать об этом больше, но в итоге представила многое из того, что уже анонсировала, и «не смогла повторить успех» Microsoft, писало The Verge.
• Во время презентации, вдобавок ко всему, один из спикеров забыл взять на сцену телефон, который нужен был для демонстрации обновлений, а СМИ заметили, что компания допустила фактическую ошибку в публичной рекламе продукта. На фоне новостей акции Google падали почти на 10%, а сотрудники назвали анонс «поспешным, халтурным и недальновидным».

#новость #google