Сравнение возможностей чат-ботов с ИИ на примере решения задач UX-исследователя

Сегодня я поделюсь с вами результатами сравнения популярных чат-ботов с генеративным искусственным интеллектом. В этой статье я расскажу об их возможностях, ограничениях и особенностях использования.

В моем сравнении участвовали:

• ChatGPT;
• Claude.ai;
• Bard;
• Bing Chat;
• YaGPT;
• GigaChat.

Оценка качества работы чат-ботов дана на основе личного опыта использования.

Хочу сразу оговориться, что результаты работы чат-ботов могут варьироваться в зависимости от конкретного инструмента и задачи, а качество выдачи может быть неидеальным. Иногда, чтобы достичь желаемого результата, приходится дополнительно уточнять запросы или просить чат-бота раскрыть тему подробнее. Также важно осознавать, что при проведении анализа чат-боты с ИИ могут упускать часть информации или допускать ошибки.

Несмотря на недостатки, чат-боты уже сейчас могут стать полезными помощниками в работе исследователя, а со временем их возможности будут только расти.

В общем, если вы давно интересовались чат-ботами с ИИ и думаете о том, какой из них выбрать для работы, эта статья для вас.

Давайте проведем сравнение ключевых особенностей чат-ботов на базе генеративного ИИ.

Для быстрого старта идеально подходят ChatGPT или Bard. Они просты в использовании, не требуют сложной регистрации и позволяют сразу начать экспериментировать с ИИ.

GPT-4 – хороший выбор для работы с данными, текстом и генерации картинок в одном инструменте. Нужна регистрация и оплата подписки.

Claude – лучшее решение, когда нужен анализ больших объемов текста. Сэкономит много времени на обработке данных из интервью и опросов.

Bing Chat, YaGPT и GigaChat, на мой взгляд, не очень полезны для решения профессиональных задач на текущий момент.

Идеальный вариант – комбинировать несколько чат-ботов. Это позволит получить максимально точный и полный результат за счет сильных сторон разных ИИ.

В следующих разделах я поделюсь с вами детальным анализом и примерами работы чат-ботов, чтобы вы могли на практике оценить их возможности.

Для сравнения возможностей генерации один и тот же запрос на генерацию текста был отправлен в 7 популярных чат-ботов с ИИ. Запрос звучал так:

«Представь, что ты опытный исследователь юзабилити. Перед тобой стоит задача разработать хороший шаблон дизайна исследования. Шаблон нужен, чтобы заказчик и исследователь смогли согласовать цели, методы, этапы, результаты и другие важные детали проекта».

На основе этого запроса чат-боты сгенерировали свои варианты шаблона. Далее я оценил качество текста от 1 до 5 звезд.

В этой статье я демонстрирую сравнение, опираясь на один пример. Однако, основываясь на моем личном опыте, могу сказать, что результаты от этих чат-ботов будут схожи по качеству на большинство запросов.

GPT-3.5

Качество генерации текста: ★★★

Структура шаблона в целом логичная, но не хватает важных разделов. Формулировки больше похожи на заголовки подразделов. Присутствуют лишние разделы, нет единообразия стиля.

GPT-4

Качество генерации текста: ★★★★★

Структура хорошая, но есть несущественные разделы. Заголовки в разных стилях, зато описания в нужном формате.

Claude 2.1

Качество генерации текста: ★★★★★

Структура полная и логичная, все разделы уместны. Описания похожи на подразделы. Выдержан единый стиль.

Bard

Качество генерации текста: ★★★★★

Структура продуманная, разделы логичны. В тексте попадаются ошибки. Выдержан единый стиль.

Bing Chat

Качество генерации текста: ★

Просто выдал отрывки не совсем подходящих статей. Не годится для создания шаблона.

YandexGPT

Качество генерации текста: ★★

Структура нормальная, но только поначалу. Далее следует бессистемный набор текста, больше похожий на отчет.

Giga Chat

Качество генерации текста: ★★

Сгенерированный текст больше похож на отчет. Не подходит в качестве шаблона.

Таким образом, наиболее эффективными в выполнении профессиональных задач оказались Claude 2.1, GPT-4 и Bard. Остальные чат-боты показали меньшую эффективность в решении специализированных задач, но их возможности продолжают расти.

Чтобы оценить способность чат-ботов работать с большими объемами текстовой информации (расшифровки интервью, ответы на открытые вопросы и т.д.), я загрузил в них расшифровку интервью и попросил подготовить сводный отчет по заданной мной структуре. Мой запрос звучал следующим образом:

«Привет! Представь, что ты –часть команды опытных UX-исследователей и профессиональных аналитиков текстовой информации. Перед тобой стоит задача проанализировать и систематизировать информацию из предоставленной расшифровки интервью. Цель – подготовить исчерпывающий отчет об опыте пользователя на платформе "Турнир.ру". Проанализируй расшифровку и структурируй данные в соответствии со следующей структурой:

• общий профиль пользователя;
• описание решаемых задач;
• драйверы участия;
• барьеры участия;
• причины оттока;
• проблемы пользователя.

Помни, что важно опираться исключительно на информацию из интервью, не добавляя ничего от себя».

В итоге чат-боты проанализировали текст расшифровки и сформировали отчет по заданной структуре.

GPT-4

Качество анализа текста: ★★★★

Выделил ключевую информацию, но упустил некоторые важные детали. Хорошо структурировал данные в нужном формате.

Одну звезду снял из-за ограничения на обработку информации до 7 страниц текста за раз.

Claude 2.1

Качество анализа текста: ★★★★★

Выделил практически всю важную информацию, детализировал ключевые моменты. Отлично структурировал данные в заданном формате.

Bard

Качество анализа текста: ★★★★

Сделал хороший свод важной информации по разделам. Есть небольшие потери важной информации.

Одну звезду снял из-за ограничения на обработку информации до 8 страниц текста за раз.

GigaChat

Качество анализа текста: ★★★

В целом неплохо выделил ключевые моменты. Во всех разделах присутствуют потери важных деталей. Плохо оформляет данные, нужна большая доработка.

Также есть ограничение на ввод текста – до 8 страниц за раз.

Несмотря на текущие ограничения, чат-боты на базе генеративного ИИ уже сейчас демонстрируют впечатляющие результаты при решении профессиональных задач UX-исследователя.

Лидерами среди рассмотренных мной инструментов можно назвать Claude 2.1, GPT-4 и Bard. Они позволяют эффективно генерировать тексты, анализировать данные и значительно облегчают рутинную работу с обработкой информации.

Разумеется, чат-боты пока не способны полностью заменить квалифицированного специалиста. Требуется комбинировать возможности ИИ и профессиональные навыки человека, чтобы достичь лучшего результата в работе.

В то же время потенциал для автоматизации ряда задач и повышения эффективности рабочих процессов в сфере UX-исследований уже сложно недооценивать.

Рекомендую начать экспериментировать с чат-ботами и искать способы их применения, ориентируясь на ваши задачи и специфику работы.