Fastuna AI: как мы создавали ассистента Машу для маркетинговых исследований

Делимся историей создания ИИ-оптимизированных маркетинговых исследований и зовем CEO и CMO проектов тестить Автомодератора бесплатно.

Привет! Меня зовут Даша, я product-менеджер в Fastuna AI.

В маркетинговых исследованиях давно прослеживается тренд на эффективность: как сэкономить ресурсы, получая при этом лучшее качество данных.

Задача амбициозная :). Особенно для исследований, когда мы хотим услышать открытое, спонтанное мнение аудитории. Пару лет назад искусственный интеллект и генеративные модели сделали большой скачок в своем развитии. И мы с командой задумались: как искусственный интеллект может нам помочь?

Так и появилась Fastuna AI — инструмент с внедренным Автомодератором, который помогает снять с менеджера рутину по проведению интервью с аудиторией и обработке данных, освободив время для других задач внутри проекта.

Как мы его создавали и тестировали — в этом материале.

1 этап: воркшопы. Так как мы сами исследователи, к разработке продукта решили подойти привычными методами: услышать мнение аудитории. Все началось с серии встреч-воркшопов, на которые приглашались все желающие сотрудники — от руководителей проектов до разработчиков.

В ходе воркшопов мы обсуждали потребности клиентов, делились своим опытом и обсуждали функции, на которые хотелось бы сделать акцент.

Именно здесь красной нитью проходил вариант использования искусственного интеллекта в роли Автомодератора, который бы вел беседу с респондентами и анализировал собранные данные.

Почему? Всем, кто работает над своим продуктом, хочется услышать открытое мнение каждого потребителя — ведь именно для них мы работаем. Уже имеющиеся на российском рынке инструменты помогают на разных этапах исследовательской работы: написать гайд, расшифровать аудио-интервью. Но это отдельные инструменты под каждый этап, и на всех этапах нужен человек и его время — от общения с аудиторией до структурирования полученной информации.

2 этап: сбор команды. После воркшопов у нас образовалась группа самых заинтересованных: около пяти-шести человек. Это были разработчики, продакт-менеджеры, лид нашей разработки, который теперь занимается AI-направлением в компании.

В таком составе команда взяла в свои руки превращение идеи в оформленный продукт. Мы занялись изучением разных LLM-моделей, инструментов для работы с текстами, а также выстраиванием инфраструктуры будущей платформы. Благодаря этому родился образ нашего Автомодератора Маши, с которым и продолжили активно работать.

3 этап: обучение Автомодератора. Мы начинали с обучения Автомодератора вести интервью. Поскольку мы используем генеративные LLM-модели, обучение заключается в формулировке правильных запросов к ИИ для того, чтобы получать ожидаемый результат: наша Маша не должна вести себя непредсказуемым образом в ответ на разные реплики респондентов.

При этом Маша должна иметь достаточную свободу для того, чтобы самостоятельно принимать решения о том, в какой теме «копнуть глубже» и как именно. Так мы достигаем широкой палитры мнений и инсайтов.

А еще она должна воспроизводить «человеческое» отношение к респондентам: быть приветливой, эмпатичной, уметь переспрашивать и уточнять. Так, мы снимаем предвзятость аудитории к ИИ и позволяем свободно делиться своим мнением на любую тему.

И самое важное: мы учили ИИ не «галлюцинировать». Всем широко известны истории о том, как chatgpt убедительно ссылался на несуществующих авторов и в целом требовал большого фактчекинга своих ответов.

Так как Маша должна не просто общаться с аудиторией, но и структурировать полученную информацию, мы не могли себе позволить допустить таких вещей, подрывая доверие к результатам.

С самого начала и до сих пор мы внимательно следим за поведением Автомодератора. Позволив ИИ чувствовать определенную степень свободы (например, мы не фиксируем жестко сценарии поведения на все случаи жизни), были приятно удивлены: что, во-первых, Маша умеет обходить острые углы: например, аккуратно сливаться с вариантов пойти на свидание, если она не хочет. Во-вторых, она очень хорошо сочувствует: мы на самых первых этапах обучения попросили ее быть эмпатичной, не вкладывая в это понятие что-то конкретное.

У нас были кейсы, в которых неожиданным образом в ответах возникали личные истории: одна женщина в ходе разговора рассказала о том, что у нее проблемы в семье, хотя разговор шел о напитках. В ответ, Маша в силу своих технических возможностей, постаралась посочувствовать и поддержать респондентку как женщина женщину. Это помогло успешно продолжить интервью.

В другой раз девушка на этапе знакомства написала свое имя в уменьшительной форме. Автомодератор уловил тон беседы и начал к ней периодически обращаться: «да, моя дорогая», «я понимаю, моя дорогая». После этого девушка стала более искренне и открыто отвечать на вопросы. Человек не всегда поймет такое поведение в беседе с живым человеком, но с ИИ это настраивает и располагает :)

Оставляем вам пару реальных ответов Маши, которые заставили улыбнуться нашу команду.

После завершения технической разработки и обучения, у нас появился новый челлендж: создать такого ИИ-ассистента, с которым люди захотят общаться и делиться своими историями.

Мы старались ориентироваться на комфорт аудитории. Эффективнее всего было спросить у пользователей напрямую: «Кто лучше? С кем тебе будет комфортнее общаться, с женщиной или с мужчиной?». Большинством голосов была выбрана женщина.

Для выбора внешности было сгенерировано несколько вариантов, которые теперь представлены на платформе. Самый популярный вариант респондентов лёг в основу образа Маши. Но, при необходимости, можно выбрать другой, более подходящий аватар собеседника.

На этапе полноценного запуска у нас были опасения, что к Маше будет доверие ниже, чем к обычному человеку: по закону мы обязаны сразу сообщать пользователям, что с ними общается искусственный интеллект.

В панели в целом много людей, которые не очень охотно отвечают на открытые вопросы в количественных исследованиях, где уже есть готовые варианты ответов, да и в жизни не каждый человек сможет ответить развернуто на все темы (кому-то просто скучно говорить 20 минут о повседневной категории).

Но даже если на основной вопрос кто-то ответил односложно, Маша задаст уточнение, и потом ещё одно уточнение, например. Таким образом, односложный ответ превращается в полезную развернутую фактуру.

У нас с ней часто заигрывают: кто-то просит её нарисовать котика, пытаясь «прощупать» границы возможностей нас и нашего Автомодератора.

Когда разрабатываешь ИТ-продукты и делаешь это в короткие сроки, то не всегда успеваешь осознать: это сейчас бэд кейс или крутое преимущество. Да и в целом, без провалов (больших и маленьких), не обходится ни один IT-продукт. Особенно когда технологии, которые лежат в основе, параллельно тоже постоянно развиваются и обновляются.

Например, про длинные гайды: мы знаем, что в классических качественных исследованиях абсолютно нормально говорить с респондентами по 1–1,5 часа. Казалось бы, это может делать и Маша. Но формат общения с живым человеком незаменим: только человек может и отвлечься от темы, если это нужно, чтобы дать респонденту почувствовать себя комфортно и немного «выдохнуть», и правильно направлять разговор. Да и все-таки это более эмоциональное общение с личным контактом. Так мы решили остановиться на диалогах до 20-30 минут – это оптимальная продолжительность, чтобы максимально удержать внимание респондента.

Еще в начале мы работали как стартап — ежедневно нужно было накатывать новые и новые фичи, чтобы чинить то, что неожиданно сломалось и улучшать то, что работает не так, как нам бы хотелось. Поэтому иногда Маша «уходила на больничный» в неожиданный момент — сервис падал и отваливался в ходе быстрых изменений и улучшений. Теперь время обновлений на платформе ожидаемое и предсказуемое, мы лучше синхронизируемся в этих моментах с командой и клиентами, и сервис работает без сбоев.

Маша — это прежде всего инструмент, и он не может заменить исследователя полностью. Ей все еще нужно прописывать задачи и составлять предварительный гайд интервью с респондентами. Но она хороший помощник и грамотно анализирует скрипты.

На данный момент, мы работаем в следующих направлениях:

Мы знаем, что на vc.ru много интересных проектов, которым нужно исследование: для тестирования идеи, нового продукта, упаковки или просто для исследования аудитории (о том, как бизнесу использовать исследования, писали тут).

Расскажите нам, чем вы занимаетесь и для вам чего нужно провести исследование, поделитесь в короткой форме. Проектам, которым Маша сможет помочь, мы предложим совместное исследование и расскажем о результатах здесь.