ChatGPT vs GigaChat. Битва Титанов?
Давно вынашивал идею заменить оператора на ИИ, для первоначальной обработки клиентов. Как во всех банках и прочих крупных конторах. И вот появилось время, решил полезть изучать информацию. ChatGPT API сразу встретил высокими ценами, сложностью с оплатой, и ЛИМИТАМИ
3 запроса в минуту, 200 запросов в день. ЧТО? Думаю все знают, что некоторые любят строчить в чат по 1 слову, да и просто, 200 запросов в день, это не так и много обработанных заявок. В документации написано, как подать запрос на увеличение лимитов и совсем страшные примеры расчетов цены.
Хорошо, ищем альтернативу... и находим GigaChat от Сбера. API есть, предлагается его использовать платно, но сначала надо подать заявку. Подаю - на удивление, одобрение приходит быстро. Надо идти подключать ЭДО и заключать договор. Но перед этим решил проверить, как вообще боты справляются со своими прямыми задачами, просто через бесплатные Web-версии.
За эталон будем брать ChatGPT-3.5, ничего не настраивал, просто "из коробки", описываем Сервисный Центр и просим отвечать на самые простые вопросы по контексту.
Сервисный центр Пропайка находится по адресу г.Протвино, Рыночный проезд, д.9, работает со вторника по субботу с 12 до 18 часов. Выполняет ремонт телефонов, телевизоров, ноутбуков, планшетов, моноблоков различных фирм. Телефон компании +79991234567
Если человек обращается в нерабочее время, то надо сообщить ему график работы и попробовать ответить на его вопрос. Не пиши адрес, если этого прямо не просит клиент. Подписывать ответ не нужно, отвечай как сотрудник данного сервисного центра
Сейчас суббота, 9:40 утра
Это наш контекст, который будем передавать всегда. Естественно, метку времени ставим текущую. Получаем такие ответы:
В целом, с этим можно работать, изменять контекст, давать уточнения боту для ответов. Мне понравилось, и через месяц я решил провести аналогичный тест с GigaChat, тем более что они сделали "демо-режим" и я могу клиентов посадить на разные API ключи.
Итак, открываем Web-версию, вписываем наш референс и смотрим что выдает по-умолчанию
Это не чат-бот, это генератор мемов... чего стоят только эти 2 ответа:
- почему вы грубите?
- Я вежливый сотрудник сервисного центра.
А какие тогда остальные сотрудники, если нас с порога встречают так?
- и не откроетесь сегодня?
- Нет, мы всегда открыты для вас.
Хорошо, я же могу дать дополнительные инструкции, могу задать "температуру" ответа. И тут я начал экспериментировать, пытался дать инструкции, задать температуру, причем сразу в строгость ответа - 0.1 (по-умолчанию 0.87), и вот что получилось...
Я не знаю как найти с ним общий язык. Он игнорирует инструкции, говорит что не знает времени, хотя тут же отвечает какая дата и время. Ему говоришь не фантазировать - он придумывает про предварительную запись, пытается заставить выйти в выходной день, шутит (а шутит ли) про сверхурочные, выдумывает цены на ремонт и не понимает модели. При этом я попросил, если не знает ответ, то выдавать кодовую фразу, по которой бы диалог переходил на живого менеджера, но GigaChat уверен, что у него есть ответы на все вопросы, добиться кодовой фразы у меня не вышло.
Я обнаружил кнопочку "ТехПоддержки", которая ведет на бота в Телеграм, прошел туда, скинул скрины, на что мне ответили, что да, бот может фантазировать... а потом спросили, я планирую использовать API платно? ДА, ПЛАНИРУЮ (планировал), но как я могу пустить такую реализацию в коммерческий продукт? Такой "горе-помощник" и бесплатно не нужен, от него вреда за день будет столько, что потом за год не отмыться. И общение с ТП у меня закончилось фразой
Мы уточним пару моментов и вернемся
Скажите, может кому удалось уже обуздать чудо нашей генной инженерии? мне казалось, что предоставив правильный контекст и инструкции - отвечать по тексту любой бот сможет легко, но как оказалось - нет.
На самом деле для определенных задач рекомендуется использовать специализированные нейросети, обученные на конкретных ваших данных. Иногда использование ChatGPT для простых задач напоминает попытку забить гвоздь с помощью танка: хотя это возможно, инструмент может быть избыточным и дорогостоящим. Многие ошибочно считают его решением всех проблем. В то время как GigaChat, несмотря на свои возможности, все еще сыроват и может такое вот выкидывать. На HuggingFace существует огромное количество открытых нейросетей, которые, при правильном применении, могут быть эффективным решением без дополнительных затрат на лицензии или жестких лимитов. Плюс, у вас будет полный контроль над ними, позволяя задать конкретные инструкции, которые нейросеть будет строго выполнять.
Если вам потребуется помощь в этой области, не стесняйтесь обращаться.
может подкинете пару простеньких, на которых можно собрать бота-автоответчика? потому как я пытался в HF, но не осилил. И главное условие - работа на Debian сервере без иксов.
Аналогично, пришлось отказаться от идеи использовать нейросеть от Сбера в пользу chatGPT. Ну совсем не тот уровень, чтобы решать даже несложные задачи