Оценивая ответы чат-бота Bard, подрядчики Google нередко действовали наугад из-за нехватки времени — Insider

Особенно если совсем не разбирались в теме вопроса.

Источник: <a href="https://www.google.com/url?sa=i&amp;url=https%3A%2F%2Fwww.9news.com.au%2Fworld%2Fgoogle-ai-chatbot-bard-gives-inaccurate-answer-demo%2F2136bc9f-2cc2-41ec-bd22-60e8db221577&amp;psig=AOvVaw2kaFdd30hbXTQIuwfcub_7&amp;ust=1680719427294000&amp;source=images&amp;cd=vfe&amp;ved=0CBEQjhxqFwoTCKiLlvXtkP4CFQAAAAAdAAAAABAE" rel="nofollow noreferrer noopener" target="_blank">9News</a>
Источник: 9News
  • Подрядчики из фирмы Appen, которых Google наняла для оценки точности ИИ-ответов, пожаловались, что времени, которое им дают на решение, не хватает, чтобы осмысленно подойти к оценке, узнало издание Insider. По его словам, внештатникам говорят, что это ответы «теоретического чат-бота», но даты внутренних переписок об этом совпадают с периодом, в который Google анонсировала Bard.
  • В инструкции указано, что задача подрядчиков — изучить запрос для ИИ, будь то вопрос, призыв к действию или заявление, и выбрать наиболее подходящий ответ бота из двух предложенных. Они также могут пояснить письменно, почему сделали такой выбор, чтобы бот обучался в том числе и на этих данных. Одни из основных критериев оценки, помимо прочих, — связность и точность.
  • На каждую такую задачу отводится ограниченное количество времени, которое разнится от случая к случаю: иногда это несколько минут, а иногда — всего 60 секунд. По словам внештатников, дать адекватную оценку ответу в столь сжатые сроки «трудно», особенно если это тема, в которой они не разбираются, — например, блокчейн и технологии в целом.
  • Так как выплаты суммируются на основе времени, которое отводится на каждую задачу, работникам приходится выполнять даже те, на которые они не знают точного ответа, — «просто чтобы получить деньги».

Некоторые ценят каждую минуту своего времени и не могут потратить её впустую, просто потому что вдруг поняли, что недостаточно подкованы в той или иной области. Им проще выбрать наугад, чтобы не потерять деньги и продолжить зарабатывать.

анонимный «оценщик»
  • Один из опрошенных внештатников также признался, что был бы рад приложить все усилия, чтобы убедиться, что чат-бот не исказил факты и выдал лучший ответ из возможных, но такие исследования порой требуют нескольких часов, которые Google не оплатит.
  • В конце 2022 года Google увидела угрозу в ChatGPT и объявила «красный код» внутри компании, бросив силы на разработку «своего ответа» и попросив помощи у сооснователей Сергея Брина и Ларри Пейджа. Первый в феврале 2023-го вернулся к работе над кодом.
  • Тогда же СМИ сообщили, что Google вложила более $20 млн в аналог «напарника программиста» Copilot и инвестировала $300-400 млн в ИИ-стартап Anthropic с выходцами из OpenAI.
  • 6 февраля компания анонсировала бота Bard на нейросети LaMDA. 8 февраля, через день после выхода «нового Bing» от Microsoft, компания также провела презентацию, на которой, по прогнозам, должна была рассказать об этом больше, но в итоге представила многое из того, что уже анонсировала, и «не смогла повторить успех» Microsoft, писало The Verge.
  • Во время презентации, вдобавок ко всему, один из спикеров забыл взять на сцену телефон, который нужен был для демонстрации обновлений, а СМИ заметили, что компания допустила фактическую ошибку в публичной рекламе продукта. На фоне новостей акции Google падали почти на 10%, а сотрудники назвали анонс «поспешным, халтурным и недальновидным».
30
54 комментария
37
Ответить

"Особенно если совсем не разбирались в теме вопроса." - нет времени объяснять, суй огурец... ох простите, обучай ИИ

6
Ответить

А почему нет плохой статьи в 11@mscoe

Ответить

А у нас есть свой чатбот?

Ответить

Комментарий недоступен

42
Ответить

у нас используют аналоговые технологии в сфере ИИ.

Ответить

А еще в декабре 2021 году гуугл уволила сотрудницу которая сказала им что тупо наращивать объем нейросети - глупо и ничего не даст.

Теперь вот работы на отвали и результат на отвали(как наймешь так и получишь и не важно что это подрядчик).
Удивительно что могло пойти так.

4
Ответить