Развитие бизнеса на стыке маркетинга, заказной разработки и искусственного интеллекта: опыт и перспективы
В данном интервью мы пообщались с основателем компании AICJM (http://aicjm.ru/), специализирующейся на разработке проектов с использованием искусственного интеллекта, об актуальных вопросах - технологиях, стоимости и создании собственного продукта в этой сфере.
Меня зовут Сергей Каторгин. Я руковожу компанией, Центр разработки программного обеспечения “Лидер-ИТ”. Наша команда из 15 человек занимается в основном бэкэндом на Java, фронтом на Angular.
Я созвонился с вами с целью пообщаться, узнать, что делаете, какие-то кейсы про искусственный интеллект. Потому что тема достаточно хайповая. Какой ваш опыт?
Вообще у меня два направления. Два бизнеса. Первый – это маркетинговое агентство, где мы делаем рекламу для онлайн школ. Это Maxi Digital (https://maxi-digital.ru/).
Второе направление – это ИИ. В этом направлении еще два разветвления.
Первое – это одна команда, которая занимается кастомными разработками под клиента. Все, что он хочет. И которая общается, что-то делает, продает или консультирует. То, что клиенты хотят в их кастомной CRM-системе, в их самописной или в обычной.
И второе, плавно вытекающее из первого – это команда, которая занимается разработкой SaaS-сервиса для онлайн-школ. То есть мы делаем куратора, который в онлайн-школах будет заменять живого куратора. Уже активно идет разработка, тестируются проекты. Думаю, в этом году выкатим платформу, на которой можно будет собирать своих ботов под свою школу.
Так как у меня маркетинговое агентство для онлайн-школ, я в этой сфере очень хорошо понимаю. Поэтому очень органично пришла идея этого сервиса.
И вот этот бот-куратор, он что делает? Что курирует?
В онлайн-школах есть кураторы обычные, живые, которые отвечают на вопросы обычных людей. Вопросы обычно одинаковые, и ответы тоже одинаковые. Это можно заменить. Вот мы клиенту это сделали уже. Там заказная разработка была.
Это какие-то организационные вопросы?
Да, это не продажа.
И не обучение? Или это связано с обучением? С подстройкой программы под человека?
Нет. Студент, когда учится в онлайн-школе, у него в процессе выполнения домашних заданий возникают какие-то вопросы. Возник у него вопрос по контенту обучения. Пожалуйста.
Когда школа большая, у них уже все это 100 раз пройдено. И когда они добавляют нового живого куратора, они ему выдают регламент и все. Где вебинар посмотреть, где еще что-то. И он тоже ориентирует по ссылкам везде. Такое общение достаточно монотонное. Это как в любом бизнесе. Есть клиентская поддержка в чате. Техподдержка. Просто здесь в онлайн-школах мне это все очень понятно. Есть связи, есть клиенты, есть контакты. Органично все это пошло.
А обучение под каждую школу должно делаться в этом сервисе? Или просто подключаете и вперед?
Обучение под каждую школу. Туда нужно будет загрузить свои регламенты, свои курсы. И из этого формируется база знаний этого бота. Плюс еще с возможностью задать ему какие-то роли шаблонные или свои общие кастомные. Что хочешь, то и делаешь внутри. И он будет общаться так, как надо.
Интересно в этом плане. Это какие-то готовые модели использовались? Или на каких-то API все это работает?
На API, да. Когда мы работаем с клиентом, там разные запросы бывают. Например, кому-то ChatGPT не подходит по соображениям безопасности, тогда ставится offline моделька ему на сервер. Она чуть поглупее, но тем не менее задачу выполняет. Сейчас ChatGPT один из самых умных, самых понятных, быстрых, дорогих, но работает. И поэтому достаточно понятно было с этим работать.
Сейчас вообще часто встречается - берем ChatGPT, упаковываем его под конкретную нишу, в которой разбираемся, и идем, соответственно, продаем. Это вообще крутая история у YCombinator. Последний батч, он весь такой. Круто, что здесь был опыт понимания именно вот этой ниши.
У нас, например, основной в последние годы опыт это FinTech, лизинговый проект. Мы делаем платформу для подписки на гаджеты. Но там пока мы не видим, как можно было бы что-то применить такое. Скоринг идет внутрибанковский, там свои модели. Какая-то техподдержка, может быть, но это тоже вопрос.
Кстати, что если делать какой-то анализ данных, чтобы на выходе он выдавал какие-то графики?
То есть имеем какое-то полотно текста, или просто какой-то очень большой отчет, какие-то данные, и потом это все нужно визуализировать в красивую табличку или что-то иное. То есть можно же попросить ChatGPT, чтобы он сделал какие-то выводы по исходным данным, по текстам, не знаю почему еще, и выдать в JSON, в каком-то виде, чтобы потом можно было через код обратиться к этому результату и на основе него построить табличку, на основе таблички построить график.
Ну да, согласен, неплохо он таблицы анализирует. А дообучение как долго происходит? Клиент должен в SaaS-платформу в каком-то виде загрузить данные? Регламенты или просто в общем какие-то документы загрузить?
По тому, как это будет происходить на платформе и то, как это делается сейчас в коде, плюс-минус смысл одинаковый. Просто в одном случае используется интерфейс, в другом код. Но суть в том, что загружается база данных, регламенты и дальше нужно произвести несколько десятков кругов тестирования и происходит это следующим образом. То есть у тебя есть дообученный условный СhatGPT, которому в голову загрузили еще информацию и проверить, как он отвечает на вопросы. И если в обычном обывательском виде ты задаешь вопрос в чат, понимаешь, правильно или неправильно ответил. Если неправильно, то корректируешь промпт или базу данных. В таком чуть-чуть более профессиональном подходе это происходит так, что есть табличка, и в эту табличку формируются сотни вопросов, на которые есть ответы в этой базе данных. Дальше сама же эта модель генерирует ответы на эти вопросы. И дальше уже человек смотрит, правильно или неправильно ответил, и дает комментарии, что не так. И потом руками это все исправляется. Это первый подход.
Когда вот такие подходы завершились, есть еще второй подход, тоже очень интересная штука. То, что просим нейросетку сгенерировать вопросы, ответов на которых в базе данных нет. Это более приближенно к тому, что может задать человек. И нейросетка уже на те вопросы, на которые у нее нет ответа в базе, генерирует какие-то ответы. И это еще огромное почва для размышлений, чего же еще может задать человек, что же еще можно добавить в нашу базу данных, как можно улучшить промпт.
И это еще сильнее улучшает качество базы. Таких кругов нужно сделать нескольких десятков. Сделал сотню вопросов, ответов. Прошелся, все поправил. Еще раз, еще раз, и еще раз. Очень сильно зависит от базы знаний, ее объема. Если это база знаний из листа А4 одного, то вопросов 50 максимум будет. Это прям вообще с лихвой. Пару раз прошелся, править нечего. Потому что объем вопросов очень ограничен. При этом у нас есть клиент, который занимается обучением врачей по дополнительному образованию. И там 1600 курсов, плюс еще 200 нормативно-правовых актов. И бот должен в этом всем ориентироваться.
И здесь, конечно, 50 вопросов и пара круговых тестов не обойтись. То есть настроить все технически, это много кто может. Обычный программист, который разобрался с API, с GPT, с backend разбирается, все это настроит за неделю-две. А дальше как раз идет fine-tuning, очень жесткий, беспощадный, очень мучительный, который занимает очень много человекочасов. И здесь как раз это профессия промпт-инженера.
А в чем разница программиста и промпт-инженера в данном случае?
Программист все соединил в коде, чтобы оно все работало, а промпт-инженер это человек, который дообучает модель, который задает вопросы, корректирует модель, корректирует базу данных, он понимает, как устроен промпт-инжиниринг, как устроен мозг, и как правильно ему подсказывать. То есть программисты это и так знают.
Легко удается найти таких людей? Или они сейчас уже поняли, что востребованы, и зарплаты запрашивают все выше и выше?
На самом деле даже Яндекс платит за это 75 тысяч, то есть это не очень дорого, но на рынке людей таких очень мало. Но при этом хорошо то, что переобучить копирайтера это 2-3 недели, и у тебя готовый промпт-инженер. На самом деле тут не нужен большой технический ум, нужно просто иметь гибкий мозг, потому что основная работа все равно в поле копирайтинга лежит.
В одном из банков, которые инновации внедряют, я читал, что они в поисковую строку добавили модель, которая изучила их базу знаний и стала выдавать рекомендации предпринимателям. Где-то галлюцинируя, где-то неточные данные, например, по каким-то нормативным документам. И как быть с такими галлюцинациями нейросетей? Добучение промпт-инженерами на это влияет?
На самом деле, если провести все эти круги ада промпт-инжиниринга, эти сотни-сотни тысяч вопросов и два месяца разработки, то точность ответа будет 90-95%. То есть 5-10% она будет все равно еще галлюцинировать.
Но вы как-то показываете в диалоге ИИ куратора, уведомляете ученика, что это искусственный интеллект с ним общается?
Или он все же не обозначается?
Мы обычно рекомендуем школам говорить о том, что вот это все-таки робот. Но кто как. То есть кто-то не хочет говорить, что это робот, кто-то хочет говорить, что это робот. Но мы пока рекомендуем это делать, потому что есть какие-то ошибки.
Насколько люди лучше сейчас с такими ботами общаются, чем раньше, которые были совсем тупые, которые в 90% случаев на оператора переключали? Есть какая-то статистика наблюдения, может быть, как люди вообще реагируют на таких ботов с искусственным интеллектом?
Проводился эксперимент. Сравнивали живого куратора и ИИ. Человек задавал вопросы, бот ему отвечал. И внутри было реализовано так, что 50% отвечал ИИ, 50% отвечал живой человек. Дальше человеку предоставлялась возможность оценить по пятибалльной шкале от минус двух до двух ответ этого бота. Дальше были вот такие результаты. Скорость ответа у живого человека была в среднем, если взять месяц исследования - десять минут. Скорость ответа у бота 15 секунд. Уже хорошо. Дальше оценивалась оценка пользователя от минус двух до двух. Средняя оценка у живого человека была 1,54. Средняя оценка у ИИ бота примерно 1,60.
Интересно, насколько можно это в продажах применять?
Да, здесь делали мы эксперимент. В продажах, на самом деле, из-за контекстного окна очень сложно. То есть одной моделькой здесь вообще не обойтись, потому что, либо это на какой-то первой линии, когда идет пара вопросов и сразу должен быть вывод и дальше перевод на следующего живого человека. В таком случае с ошибками, но работает нормально.
Но если говорить про продажи, то можно использовать несколько моделек с взаимным самоконтролем, где одна контролирует другую, другая третью, четвертую. И в таком случае уровень качества повышается на длительной беседе. Но это просто дорого, потому что одно сообщение, условно говоря, через ChatGPT стоит 1 рубль. Но когда у тебя одно сообщение обрабатывается сразу, например, 10 модельками тем же самым ChatGPT, но просто разной роли, то у тебя одно сообщение уже стоит 10 рублей. И диалог выходит уже не 10 рублей, а к примеру, 150-300 рублей.
И возникает вопрос, а зачем? Поэтому в продажах на сегодня данный метод финансово малоэффективен. Год назад ChatGPT особо не мог похвастаться. Что будет еще через год, скорее всего, можно будет уже применять в продажах очень активно.
С точки зрения B2C в продажах, может быть, неэффективно, где средний чек 5-10 тысяч, но если это несколько миллионов рублей, возможно, такие боты будут эффективны? Плюс если они еще звонить научатся и продавать…
Звонить могут, писать тоже могут, но здесь есть проблема чуть подальше, чуть поглубже, для того чтобы реально обкатать, что ты выберешь, потестировать ИИ или заработать 3 миллиона рублей?
То есть, если ИИ, то, скорее всего, на каких-то тестах, несколько десятков клиентов он упустит. А чтобы найти лида, который заинтересован и, потенциально, реально может купить у тебя что-нибудь за 3 миллиона, он достаточно ценный. И на рынке есть такие компании, кто готов потестировать, но их очень-очень мало.
Вопрос про модели тогда. Если взять какие-то опенсорсные модельки, которые делают то же самое, что GPT, поставить у себя на сервере. Вопрос, какой нужен вообще сервер? И на что рассчитывать, если ты оффлайн ставишь эту историю? Как технически это выглядит? И сколько денег надо?
Ну вот если говорить про сколько денег, то если использовать онлайновые модели, то разработка такой модели может стоить 2-3, условно говоря, миллиона рублей. Это когда что-нибудь прикольное, качественное, хорошее, крутое делается. А когда то же самое, только сервера свои, это порядка, может быть, 10. Потому что должно работать. И здесь уходят деньги на оборудование или на аренду сервера, на вот эту всю штуку. Но тем не менее, если поставить прямо в офисе у себя, а не аренду, то это просто стоит денег, настроить это уже отдельно. Это подходит крупным компаниям, кто готов на это и у кого есть бюджет. Но там на самом деле очень рядышком находится уже следующий тип компаний, у кого уже есть свои IT-отделы, кто может сам внутри у себя это все сделать, настроить сам.
Уточню, 2-3 миллиона, это ты имеешь в виду на оплату сообщений плюс промпт инженера или просто услуги, условно говоря, ваши, 2-3 миллиона? Или все вместе?
Это вся интеграция, все обучение, промпт инженеры, программисты, весь этот бэкэнд, настройка с интерфейсом и прочее. Если еще ему добавить рук, условно говоря, чтобы он заносил это куда-нибудь в карточку CRM и с этим что-то делал. И при этом это курс не с 10 уроками, а большой полноценный курс. Плюс это большая компания, которой нужно все очень четко внедрить, то да, это такие цены. Если говорить про что-нибудь простенькое, ChatGPT плюс chatbot в TG без какой-то админки сложной, с простой интеграцией с Google документами, то это может быть 500 или меньше. Здесь очень сильно зависит от того, что клиент вообще хочет получить и в какой реализации.
Спасибо, пока больше вопросов нет, будем оставаться на связи. Довольно содержательный получился диалог.