AI-аватар для метавселенной - кейс на AI Talent Camp

В конце 2023 г. AI Talent Hub (онлайн-магистратура по искусственному интеллекту от ИТМО и Napoleon IT, которая готовит ML-инженеров через продуктовый подход – работу над реальными кейсами IT-компаний), с организационной поддержкой GIGASCHOOL, впервые провели AI Talent Camp – AI–интенсив по разработке продуктов для бизнеса с помощью LLM.

В конце 2023 г. ребята из AI Talent Hub - онлайн-магистратуры по искусственному интеллекту от ИТМО и Napoleon IT, совместно с GIGASCHOOL впервые провели AI Talent Camp – AI–интенсив по разработке продуктов для бизнеса с помощью LLM.

В течение недели участники вместе с экспертами и менторами международных компаний погружались в теоретическую часть, а также разрабатывали продукты с помощью LLM на реальных кейсах компаний–партнёров.

Свои кейсы для разработки представили X5 Tech, PeopleDo, Sky Ai и DEXART. Об одном из самых интересных кейсов поговорили в интервью с ассистентом CEO в DEXART, Ольгой Сергиенко – продукт: AI-аватар для метавселенной.

О кейсе.

Мы пришли на кэмп с конкретным кейсом, который старались решить нашей командой. Основная гипотеза состояла в том, что обычному пользователю было бы интересно поговорить с интересующим его блогером, даже если это будет не живой человек, а его цифровой двойник. Для блогера это принципиально новый способ взаимодействия с аудиторией. Проект заключался конкретно в том, чтобы создать виртуального двойника реального блогера – Ольги Чебыкиной.

Первоначально мы остановились на реализации приложения через Telegram, чтобы пользователь мог общаться с блогером прямо в мессенджере. Но через некоторое время поняли, что такой формат безэмоционален и не даёт никакой дополнительной ценности по сравнению с существующими решениями. Поэтому мы добавили в свою идею дополнительный уровень: интерфейсом взаимодействия пользователя и персонажа на базе ИИ должно было стать 3D-пространство.

Что мы успели сделать.

Работы было очень много и мы довольно быстро поняли, что успеть всё, что запланировали, не сможем. Для этого понадобилась бы команда побольше. Но тем не менее, мы решили сделать то, на что хватит времени и сил, и вот что мы смогли:

– смоделировать личность на базе ChatGPT, настроенного под блогера;

– загрузить базу знаний по интервью и продуктам блогера;– сделать парсеры соц.сетей блогера (с периодическим обновлением), чтобы аватар «знал» все новости и изменения блогера;

– протестировать несколько дополнительных функций, например, генерация картинок и ответы цифрового двойника на вопросы вне базы знаний.

Создали MVP – Telegram–bot, работающий по двум направлениям: как бот для загрузки данных в базу знаний аватара клиента и как бот–виртуальный двойник блогера, с которым можно общаться с помощью сообщений. Первоначальная версия на хакатоне была без аудио. Только в формате текст–текст. В данный момент мы работаем над переводом текста в речь с помощью дополнительных инструментов.

О сложностях.

Идея продукта была определена заранее, оставалось только найти подходящее техническое решение, которое бы заработало.

И на кэмпе мы нашли такое решение – интеграция ChatGPT и Telegram. Как было сказано выше, время и амбициозность задачи не позволили нам подготовить всё на 100% и отладить техническую сторону. Но мы продолжили работу после хакатона уже своей командой, и желанная реализация приближается с каждым днём. Мы получили невероятный импульс энтузиазма и веры в будущий продукт, так что мы точно добьёмся своего.

О кэмпе.

Интересно, что кэмп позволял нам не просто принести кейс для проработки, но и посещать образовательные воркшопы вместе с участниками.

Ярче всего запомнилась первая лекция, которую презентовал Сергей Цыпцын, она вызвала восторг и много эмоций.

А также очень понравились и запомнились:

– кейс–лекция «Кейс создания AI–персонажей на базе GPT для образовательного продукта» от Руслана Кузьминова;

– воркшоп «Создание Q&A ассистента» Никиты Кононова, RnD Engineer Everypixel, и Алексея Комиссарова, PhD, ментора AI Talent Hub.

На какой стадии проект сегодня?

Мы абсолютно точно хотим в полной мере реализовать этот проект и ещё шире использовать ИИ в дальнейшем, поэтому сейчас обсуждаем условия продолжения работы с AI Talent Hub и набираем команду для реализации продукта. Идея создавать виртуальных персонажей на базе ИИ вместо обычных текстовых чат-ботов очень захватила нас.

Участие в хакатонах и кэмпах подобного формата – отличная возможность быстро реализовать MVP с помощью экспертизы менторов IT–сферы и понять, работающим получится продукт или нет. Такие форматы позволяют внести важные изменения в идею продукта до того, как приступать к разработке. Ведь влюбиться в собственную идею довольно просто, а получить честный и конструктивный фидбек – не всегда бывает легко.