Просто добавь… клея в пиццу или разбор странных советов от Google
Представьте: вы идете в Google за советом (что сделать при приготовлении пиццы, чтобы сыр не отслаивался), и он советует вам... добавить немого “нетоксичного клея” в соус. Такой совет опубликовали в Reddit пользователи. Разбираюсь, почему так вышло и чего ожидать дальше.
Что произошло?
Функция AI Overviews включается не для каждого запроса и выдает сгенерированный ИИ ответ. Ответ на запрос для пиццы, похоже, основан на шутливом комментарии пользователя в ветке Reddit более десяти (!) лет назад.
Это лишь одна из многих ошибок новой функции, которую Google широко представил в этом месяце. Например, также утверждается, что 4-ый президент США Джеймс Мэдисон окончил Висконсинский университет 21 раз, что собака играла в НБА, НФЛ и НХЛ, и что Бэтмен — полицейский.
Да, Google не обещал, что это будет идеально, и даже ставит дисклеймер (“генеративный ИИ является экспериментальным» под ответом ИИ”). Но очевидно, что таких грубых ошибок никто не ожидает после триумфа ChatGPT и других инструментов.
Что дальше?
Можно ли по-прежнему доверять ответам Google? — спросите вы. После того как соцсети взорвались обсуждением подобных советов, кажется, что Google уже подкорректировал алгоритм и отключил AI Overviews для некоторых запросов. Есть мнение, что Google вычищает вручную такие кейсы, после того как они появляются в соцсетях.
Представитель компании также заявила, что компания “использует эти примеры для разработки более широких улучшений наших систем, некоторые из которых уже начали внедряться”.
Эксперты по ИИ считают, что сейчас технологии удалось точность достичь точности примерно в 80%, что было относительно просто, поскольку для этого необходимо было корректно обобщть большой объем “человеческих” данных. Но оставшиеся 20% представляют собой чрезвычайно сложную задачу.
Именно потому, что это такие редкие запросы, по которым мало данных в интернете, их много и они разрозненные (поэтому тяжело адаптировать алгоритм для каждого такого кейса и верифицировать его возможное решение).
Что пошло не так?
Во-первых, все ИИ продукты столкнулись с галлюцинациями и ошибками ИИ. Однако Google первой внедрила эту технологию в таком большом масштабе (и это произошло совсем недавно, в этом месяце!), и а потому число ошибок кратно увеличилось, и они стали более заметны.
Так, один из первых нашумевших случаев произошел сразу после триумфального запуска ChatGPT, когда юрист в США построил защиту на фейковых кейсах, сгенеренных чатом, и чуть не лишился лицензии.
Компании утверждают, что они не могут предсказать, что выдаст этот ИИ, он на самом деле это находится вне их контроля. Но какой смысл в инструменте, который дает непредсказуемый и ненадежный результат?
Во-вторых, Google не скорректировала свои алгоритмы на случай таких кейсов, когда стоит верифицировать источник информации. В интернете полно не заслуживающей доверия информации, и вам в шутку или на полном серьезе предложат положить в пиццу и не такое!
Кажется, что предлагать в качестве ответов варианты, которые не являются массовыми, появились на сомнительных площадках (при всем уважении, Reddit точно не является местом экспертов по пицце), не стоит ни при каких обстоятельствах. И в алгоритме следовало бы это учесть.
Наконец, нетрудно заметить, что такие странные ответы появляются на не менее редкие вопросы, на которые, как нетрудно предположить, не так уж много ответов вообще на просторах интернета (даже безотносительно их качества).
Представитель Google Меган Фарнсворт заявила, что ошибки возникли из-за «очень необычных запросов и не отражают опыт большинства людей». Компания приняла меры и совершенствует продукт.
Кажется, что для таких юз кейсов / ситуаций потребления было бы правильнее не выдавать ненадежные ответы (пусть и с дисклеймером) совсем, а, например, предложить пользователю обратиться за помощью к экспертам.
Почему так произошло?
Эксперты считают, что Google выпустил этот инструмент уже сейчас, неготовым, потому что находится под большим давлением конкурентов (OpenAI, как сообщается, работает над собственной поисковой системой, молодежь уходит полностью в TikTok и др.). Условное Reddit сообщество требует новые модели, и даже такие гиганты как Google поддаются этому давлению.
Эксперты вспоминают, что в 2022 году Meta выпустила систему ИИ под названием «Галактика», которую пришлось отключить вскоре после запуска, потому что, среди прочего, она рекомендовала людям есть стекло.
С другой стороны, это нормальная практика: выпускать продукт и улучшать его по мере использования пользователями, работая с реальными кейсами, которые появляются у пользователей.
У Google грандиозные планы относительно использования ИИ в его продуктах, и эта функция в том виде, в каком она существует сегодня, является лишь крошечной частью того, что компания анонсировала совсем недавно. Эта ситуация - огромный вызов для компании как с точки зрения репутации, так и с точки зрения продуктов.
Посмотрим, как ситуация будет развиваться.
Пожалуйста, поддержите меня, поставьте лайк!
Галлюцинации — ахиллесова пята ИИ. Проверка достоверности “фактов” ИИ (с помощью того же поисковика) — несложная задача (учитывая, что уже сейчас ИИ может решать задачи не хуже человека, делать изобретения и ускорять научные открытия), и наконец такой способ нашелся. Разработана модель с говорящим названием “SAFE” (безопасность, Search-Augmented Fa…
Влияние продуктов на базе ИИ на нашу жизнь усиливается с умопомрачительной скоростью. Разработчики ChatGPT осознают это и работают над тем, чтобы предотвратить злоупотребления и обеспечить достоверность создаваемого ИИ контента. А нам важно понимать, какие есть возможности, чтобы не нарваться на фейковый контент.
Пользователь X (ex-Twitter) выяснил, что если пообещать GPT-4 за ответ $20, то ответ становится лучше на 6%, а если предложить $200, то уже на все 11%. О чем это говорит и что это значит для нас, обычных потребителей продуктов искусственного интеллекта?