Аналитикам можно не беспокоиться: ChatGPT правильно ответил только на 12 вопросов из 42 о Google Analytics 4
Специалисты консалтинговой компании 55, которую основали бывшие руководители Google, решили узнать, можно ли переложить на плечи нейронных ботов ответы на вопросы клиентов о работе систем веб-аналитики. Эксперты задали ChatGPT 42 популярных вопроса о Google Analytics 4 — нейросеть ответила правильно только на 12 из них.
Эксперты решили протестировать ChatGPT в связи с тем, что 1 июля все ресурсы Universal Analytics полностью отключат, и владельцам нужно будет перейти на версию Google Analytics 4. Это ожидаемо вызовет много вопросов у клиентов компании, поэтому появилась идея отдать роль консультанта нейросети.
С момента своего появления в ноябре 2022 года чат-бот ChatGPT успел наделать много шума и стал одной из самых обсуждаемых новинок в мире технологий. Ему приписывали революцию на рынке труда, изменение рабочей недели, лишение людей рабочих мест, замену людям друзей и много чего еще. Тем не менее, новое исследование, проведенное консалтинговой компанией 55, показало, что бот еще далек от того, чтобы совершить революцию в сфере digital-маркетинга и аналитики, после того, как он правильно ответил меньше чем на половину вопросов (52%) о Google Analytics 4 (GA4).
На каждый пятый (19%) вопрос ChatGPT ответил полуправильно:
- иногда чат-бот выдавал корректную информацию, но она не отвечала на поставленный вопрос. То есть, бот неверно истолковывал сам вопрос и не понимал, о чем его спрашивают, в то время как человек легко бы понял, о чем его спрашивают;
- также бот выдавал в ответ на вопрос дезинформацию, но не в таком количестве, которая позволила бы признать ответ неверным и привела бы к значительной путанице.
Эксперты выделили две причины, почему бот не справился с заданием:
- Бот ограничен информацией и данными, на которых он обучался — сейчас в ChatGPT используются данные за 2021 год (Google анонсировал Google Analytics 4 в конце 2020 года). Поэтому логично, что ChatGPT ничего не знает об обновлениях инструмента, сделанных после 2021 года — например, об атрибуции на основе данных или отчете «Целевая страница». Бот просто не успевает учиться, а учитывая, как быстро все меняется в сфере digital-маркетинга и аналитики, этот минус нейросети может никогда не исчезнуть.
- ChatGPT не волнуется о качестве данных, которые выдает — он не ранжирует их на основе авторитета домена, то есть данные поступают не только из надежных источников.
Подводя итоги исследования, консультант из консалтинговой кампании 55 Сэм Берр сказал: «Потенциал такого ИИ, как ChatGPT, очевиден для всех — и маркетологам придется адаптироваться к нему в будущем, но сейчас им следует дважды подумать, прежде чем использовать его в качестве источника информации. В большинстве случаев он может указать вам правильное направление, но его ответы должны сопровождаться дополнительными исследованиями из альтернативных источников — важно помнить, что это чат-бот, а не оракул. Возможно, он поможет повысить производительность, пробудить творческий подход или начать разговор, но пока эта технология не будет более развита, она точно не пройдет испытательный срок в нашей компании».
Комментарий недоступен