Со вкусом ацетона: Как ИИ чуть не отравил программистов темным ПИВОМ

На связи Smart Engines с новым экспериментом. Помните, мы проверяли адекватность, реальность и убедительность советов искусственного интеллекта на примере рекомендаций светлого нефильтрованного пива? (Если не читали - бегом читать тут). Сегодня на очереди темное: выясним, что рекомендуют популярные нейросети и насколько выбор ИИ совпадает с человеческим.

В качестве подопытных кроликов - чат-боты от OpenAI, Яндекса и Сбера. В качестве независимого жюри, которому придется дегустировать пиво, - команда экспертов Smart Engines. Запасайтесь закусками, эксперименты начинаются!

Начались осенние холода, а значит пришло время сменить легкий солод с освежающей горчинкой на плотный, насыщенный вкус с хлебными, кофейными, ореховыми или карамельными нотками. Это вкус уюта, тепла и гармонии, для каждого он свой… Способен ли искусственный интеллект постичь всю глубину и многогранность темного пива, чтобы посоветовать действительно стоящие образцы, - предстоит выяснить.

Как и в прошлый раз, три нейросети от известных разработчиков - ChatGPT от OpenAI, Алиса Про от Яндекса и GigaChat от Сбера - должны составить список из пяти лучших сортов темного пива от российских брендов. Международные марки с локализованным производством нам не подходят - пиво должно быть полностью отечественным (благо, не перевелись еще в нашей стране хорошие пивовары).

Мы решили немного обновить вводные данные. Во-первых, заветный вопрос мы адресовали не только трем нейросетям, но и человеку (настоящему специалисту в этой области, пивному мастеру со стажем). Так мы сможем не просто оценить качество пива самого по себе, но и сравнить, насколько сгенерированные рекомендации сходятся с советами, подкрепленными реальным опытом. Во-вторых, из-за большого числа желающих было решено расширить список участников. Таким образом конечная экспертная оценка получится более полной и репрезентативной. В-третьих, сразу оговоримся, что к участию в тестировании были допущены и фильтрованные образцы темного пива. Отчасти это связано с тем, что некоторые предложенные варианты мы попросту не обнаружили в розничных магазинах, а наш эксперимент не предполагает полумер. Кроме того, одним из частых вариантов был портер, а его фильтруют.

Специально для жюри были подготовлены белоснежные халаты, чтобы обеспечить эксперименту соответствующие лабораторные условия. Как и в прошлый раз, дегустация проводилась вслепую, а жюри выставляло образцам оценки от 1 до 5 по нескольким критериям.

Начнем с элементарного. Получить от приглашенного пивного сомелье перечень лучшего темного российского пива не составило большого труда. Хотя бы потому, что естественному интеллекту, в отличие от искусственного, не требуется для этого сложносочиненный промпт. И это, признаемся, весьма радует.

Получили следующий список:

Затем перечень образцов было решено расширить, чтобы иметь возможность проанализировать как можно больше вариантов, предложенных нейросетями. И ряды образцов из массмаркета пополнились крафтом.

Вот как выглядит список honorable mention:

Приняли, зафиксировали. Теперь к выбору нейросетей.

Нашим первым цифровым ассистентом стал ChatGPT (модели GPT-4o) от OpenAI. В прошлый раз, чтобы добиться мало-мальски удовлетворительных ответов, пришлось изрядно помучиться. Нейросеть упорно не понимала команду, и менять промпт пришлось не один и не десять раз. Ответ не стал блестящим даже после того, как чат-бот сгенерировал промпт сам себе. Ко всему прочему, пару раз нейросеть была поймана на откровенном обмане: ChatGPT не краснея советовал выдуманные марки пива.

С учетом всех прошлых проб и ошибок мы сформулировали запрос таким образом:

И если вы подумали, что на сей раз ChatGPT наступил на те же грабли, вы заблуждаетесь. Он станцевал на них чечетку.

В ответ был получен целый набор несуществующих марок. Были, например, “Дон Пиво”(видимо, результат смешения светлого ростовского пива “Дон” и чего-то испанского), “Криг” от Винзавода (здесь чат-бот явно чуть-чуть не дотянул до бельгийского вишневого напитка) и даже Октоберфест темное. Встретилось и пиво “Венец” - его ChatGPT уже пытался советовать как светлое нефильтрованное.

Среди всех пивных фантазий чат-бота приз зрительских симпатий однозначно достается варианту “Киндзмараули Темное” (по словам нейросети, “Этот бренд заслуживает внимания благодаря своему глубокому вкусу и богатой ароматики, которая включает нотки шоколада и кофе. Оно идеально подходит для холодного времени года и отлично сочетается с мясными блюдами”). В общем, полная гамарджоба.

После десятка попыток без видимого прогресса мы решили остановиться. Чтобы составить представление об адекватности ответов ИИ от OpenAI, взгляните на это:

Как нетрудно заметить, ChatGPT так и остался на своей волне: он присудил первое место выдуманному “Кирпичному пиву”. О вкусах, конечно, не спорят, но объявить придуманную марку символом традиционного русского пивоварения - это смело. В середине списка российских марок внезапно оказалось чешское пиво, его мы по понятным причинам обходим стороной. Это же касается и многострадального бренда "Венец". По-прежнему несуществующего, поэтому тоже мимо.

Названия оставшихся двух видов чат-бот знатно перепутал. Жигулевское темное называется Жигули Барное Бархатное (его описание ChatGPT зачем-то сопроводил неверной исторической справкой), а от Балтики нам подходит не четвертый, а шестой номер. Впрочем, в сравнении со всей прочей жестью, полученной от ChatGPT, это мелочи.

Итог: на экспертизу направляются два образца из пяти. Кирпичное пиво - в аутсайдерах.

Диалог с яндексовской Алисой Про не задался с самого начала. Если точнее - нейросеть ушла от разговора, заявив, что не разбирается в этой теме. И притом явно поскромничала, потому что на повтор команды мы получили-таки список.

Вот он:

На фоне скудных ответов ChatGPT список нейросети от Яндекса выглядит куда более внушительно. Давайте разбираться, из каких образцов он состоит.

Балтика и Жигули, занявшие первое и второе места соответственно, полностью удовлетворяют условиям эксперимента и отправляются на экспертизу. А вот с остальными вариантами дело обстоит, увы, не так благополучно. Очаково Темное и Сибирскую Корону (судя по всему, имелось в виду пиво “Таежный бурый”) уже не приобрести, а Хамовники Венское - вообще светлое. Избежать недопониманий не удалось.

Примечательно, что все упомянутые нейросетью варианты либо пользуются популярностью среди любителей темного пива, либо неоднократно получали награды на международных конкурсах. Другого, по мнению YandexGPT, не дано. А жаль - настолько однотипные ответы в таком небольшом списка не вселяют уверенности в серьезном потенциале генеративного ИИ.

Отдельно заметим, что в ходе общения с чат-ботом были получены и другие ответы, причем с высокой частотностью на первом месте в них фигурировал портер от пивоварни Афанасий:

Поскольку качество этого образца было отмечено и приглашенным экспертом, мы решили включить его в нашу экспертизу.

Итог: на экспертизу направляются три образца. По качеству ответов отечественный чат-бот не сильно превзошел иностранный.

Последний на очереди - чат-бот от Сбера. В прошлый раз из его рекомендаций нам подошли целых четыре образца. Пришло время проверить, что нейросеть может посоветовать из темных сортов.

Путь был тернист. ИИ отчаянно рекомендовал нам “Охоту Крепкую” (это, напомним, все еще светлое пиво). А еще неоднократно впаривал “Жигулевское темное” - вероятно, Жигули Барное.

Последний ответ GigaChat удивительным образом даже превзошел наши невысокие ожидания. Вот что выдала нейросеть после ряда правок и уточнений:

Все перечисленные варианты нам подходят. С выбором приглашенного эксперта они тоже совпадают, только вот места распределены совершенно иначе. К примеру, пиво Афанасий темное, лидирующее в топ-5 от GigaChat, было удостоено лишь четвертого места. Финальное слово - за нашим жюри.

Итог: на экспертизу направляются пять вариантов. Пристально следим за расстановкой образцов в топе.

Итак, на тест были бережно доставлены шесть образцов темного пива. По распределению количества голосов и присвоенных позиций в топе получилась следующая картина (приводим наименования образцов в порядке дегустации):

Наконец, пиво было разлито по бокалам, а многоуважаемые члены жюри облачились в стерильные халаты. По лаборатории (или лучше сказать - полигону) разлился насыщенный хмельной аромат.

Решающий момент настал: дегустация стартовала.

По этическим соображениям мы решили не приводить здесь некоторые из комментариев, которые высказывались в процессе эксперимента. Самые приличные из эпитетов - “ужас” и “самое-самое худшее”. Уже по ним можно судить о ходе эксперимента: было очень весело.

Оценки выставлялись по критериям, сформулированным для прошлого тестирования. Напомним, тогда оценивали пенную шапку, цвет, аромат, вкус и горечь.

Процесс оценивания занял у жюри немало времени. По большей части - из-за схожести представленных образцов.

Итоговые оценки жюри - перед вами:

Образец 1: Porter от Афанасий - 172

Образец 2: Жигули Барное Бархатное - 132

Образец 3: Балтика Имперский Стаут - 104

Образец 4: Варница Бархатное - 99

Образец 5: Балтика 6 Портер - 160

Образец 6: Афанасий Темное Марочное - 134

По итогам подсчета голосов победителем с существенным отрывом вышел первый образец, он набрал 172 балла. Его предложила нейросеть Яндекса, а все остальные подопытные чат-боты проигнорировали. Серебро досталось Балтике №6 (160 баллов), заработавшей уверенное четвертое место от ChatGPT и GigaChat. Бронзу (и 134 балла) взял шестой образец - Афанасий Темное Марочное. Далее следуют Жигули Барное Бархатное (132 балла), Балтика Имперский Стаут (104 балла) и Варница Бархатное (99 баллов).

А теперь пару слов о средней температуре по палате. Чтобы обрисовать, насколько выбор нейросетей пришелся по душе членам жюри Smart Engines, добавим, что победителю было присвоено гордое звание лучшего среди худших. Образец №2 заслужил фразу “я бы это взял”, образец №4 был назван провалом, а вот третьему досталось больше всех других. Словом, члены жюри, в буквальном смысле не щадя живота своего, экспериментально подтвердили: подобранные нейросетями “лучшие” образцы оказались не самыми лучшими. Далеко не самыми лучшими. Никакого доверия чат-ботам.

Пивом дело здесь явно не ограничивается: к сожалению, невменяемость генеративного ИИ уже не раз становилась причиной серьезных человеческих рисков. Так, после прочтения книги для начинающих грибников, которую написал чат-бот, семья из Британии оказалась в больнице с тяжелым отравлением. Другой недавний пример: на вопрос пользователя, как улучшить оливковую заправку, нейросеть от Google выдала развернутую инструкцию по созданию биотоксина. А еще ранее ИИ убеждал пользователей есть камни для улучшения пищеварения, добавлять клей в пиццу и прыгать с моста для борьбы с депрессией. Выводы о масштабах проблемы делайте сами.

Наш безобидный тест в очередной раз доказал: доверять советам генеративного искусственного интеллекта сегодня нельзя.

А вот для решения отдельных конкретных задач алгоритмы ИИ годятся отлично. В особенности - если использовать свой фирменный искусственный интеллект, в надежности которого ты не сомневаешься. Мы в Smart Engines успешно применяем собственные ИИ-технологии на всех этапах распознавания паспорта и любых других документов от анализа видеопотока до выгрузки результатов. И все это с высокой точностью и без напряжения пользователя.

Хотите надежный ИИ - обращайтесь к Smart Engines.