VseGPT — сервис для доступа к ChatGPT, Claude, Palm, LLama2 с вебчатом и OpenAI API
Вообще, я как автор, наверное, крупнейшего русского опенсорс голосового помощника Ирины, люблю опенсорсные программные решения.
Я люблю, когда пользователи сами выбирают, что им нужно. Когда сами могут добавить нужную себе функциональность. Когда они не привязаны жестко к сервисам и их политике.
Тем не менее, в текстовых нейросетях пока опенсорс решений уровня GPT-4 нет - а пользоваться им в куче разных задач - написать код, причесать или придумать текст - честно говоря, правда полезно.
Если честно, меня несколько утомило решать вопросы доступа и оплаты зарубежного OpenAI аккаунта, необходимого для доступа к GPT-4 и API (да, я провожу эксперименты, и API мне нужен).
Я бы с удовольствием поэкспериментировал и с другими сетями - например, Claude, о которой говорят гораздо меньше, но которая, по-видимому, не намного хуже (спойлер: я пробовал - по моему мнению, Claude 2 вполне на уровне GPT-4).
Постепенно реализовывая свои "хотелки", я создал сервис VseGPT.ru, который решает мои основные проблемы - предоставляет общий интерфейс в виде чата и OpenAI API к разным топовым нейросетям - ChatGPT, Claude, Google Palm и опенсорсным Llama 70b, 34b Code и пр.
Сервис я делал в основном под свои профессиональные потребности, так что давайте посмотрим, насколько он подойдет вам (+ помечено, если в сервисе есть, - если нет):
- Доступ через вебчат (крайне важно) (+).
- Естественно, часто я хочу просто задать вопрос нейросети через удобный интерфейс. Желательно сохранение чатов, светлая/темная тема, по возможности - поддержка Markdown для кода.
- Еще желательна поддержка потокового вывода при запросах - чтобы результат выводился по мере генерации, и не нужно было ждать полного ответа - а это может быть 20-30 секунд! (+)
- Доступ по OpenAI API (крайне важно) (+).
- Во-первых, я хочу свободу для экспериментов - например, чтобы сделать плагин для Ирины, для того, чтобы с ней поболтать.
- Во-вторых, я хочу пользоваться уже существующей массой инструментов, которые интегрируются с OpenAI API. Например, расширение для браузера ChatGPTBox через OpenAI API умеет делать прямо в браузере: суммирование текстов, перевод, "полировку" английского текста (исправление ошибок), объяснять код. Возможность пользоваться сторонними инструментами крайне привлекательна.
- Свободное переключение между нейросетями (важно) (+).
- Не хочу вендорлок на решения OpenAI. Хочу попробовать Claude - он дешевле, и у него обещают контекст в 100 000 токенов. Хочу попробовать опенсорсную LLama 70b (с трудом запускается на домашних машинах).
- Хочу возможность быстрого переключения на другую сеть - например, на Claude v1 как аналог ChatGPT - если вдруг вторая будет недоступна.
- Небольшая оплата за размер запроса в зависимости от нейросети (приемлемо) (+)
- Понятно, что совсем бесплатные решения либо будут сильно лимитированы, либо будут работать нестабильно. В конце концов, GPT-4 стоит в 10 раз дороже ChatGPT, и бесплатно её предоставлять на большие диалоги и обработки статей нереально. Поэтому я готов оплачивать свои запросы - если это реально недорого.(И, пожалуйста, без привязки банковской карты - только внутренний счёт).
- Небольшая стоимость подписки (приемлемо) (+)
- Да, за такой сервис я готов был бы платить - но определенно не 20$. Рублей 200-400 было бы норм. И да, российской картой, пожалуйста. Да, нормально, если при низкой стоимости подписки оплата за запросы идёт отдельно.
- Бесплатный тестовый доступ (важно) (+)
- Я хочу сначала попробовать, что всё работает, а уже потом заплатить.
- Доступ через Телеграм (не очень важно) (-)
- В принципе, какие-то запросы было бы удобно делать через Телеграм, но там будет неудобно управлять диалогом. Для меня это не очень важно, я не сделал, увы )
Интеграции
Уже запустив сервис, я ещё раз почувствовал - как круто, что можно использовать совместимые наработки.
Поскольку сервис предоставляет OpenAI API - с ним совместимо масса уже созданных инструментов и решений (обычно достаточно поменять в каком-то месте параметр URL).
Вот некоторые:
Ранее Ирина могла исполнять только голосовые команды, указанные в её плагинах (дополнениях) - и, например, как с Алисой, с ней поболтать бы не удалось.
А сейчас - можно. Мы подключаем встроенный плагин vsegpt, указываем с какой именно нейросетью мы хотим поговорить (по умолчанию - ChatGPT), и получаем, например, следующий голосовой диалог:
— Ирина, поболтаем?
— Да, давай.
— Что такое Солнце?
— Солнце — звезда, которая находится в центре нашей солнечной системы и обеспечивает нам свет и тепло.
Это бесплатное опенсорс расширение для всех основных браузеров (Chrome, Edge, Firefox...), которое позволяет с помощью OpenAI API на страницах браузера выполнять:
- Перевод
- Суммаризацию (краткое содержание) текста
- Объяснять программный код
- Полировать текст (убирать грамматические ошибки и пр.)
Довольно удобно. На сайте есть видео с деталями настройки.
SillyTavern
Довольно известный инструмент для ролевого взаимодействия с вымышленными персонажами. Может использоваться для создания историй; или же для запроса Coding Sensei про программирование.
Заключение
"Eat your own dog food"
Учитывая, что я сам использую свой сервис, думаю, он будет становиться лучше - по меньшей мере для меня, и людей, думающих схожим образом.
Мне бы хотелось еще подключить анализ документов - чтобы сеть могла по ним отвечать, ну и побольше дельных инструментов - но это дело времени. Планирую сделать аналогичное компактное решение с OpenAI API и чатом только на опенсорсных нейросетях, чтобы можно было эффективно разворачивать в замкнутом контуре предприятия (если вдруг такое нужно - пишите в личку).
Ну а пока я только выложил сервис, и надеюсь, он будет кому-то полезен.
Единственная GPT которая у меня заработала это Chat GPT 3.5 которая и так доступна бесплатно под VPN вы же за запросы к ней берете деньги.
Версия Chat GPT4 не работает, пишет что у вас недостаточно кредитов, она даже на фразу "Привет" ответить не смогла!!
Короче могу ошибаться, но муть с оплатой через какието сайты для ИП меня также напрягает.
Пахнет тегом "Пиарюсь", "Реклама" и возможно "Лохотрон".
Можете почитать про то же самое у меня на Хабре: https://habr.com/ru/articles/762248/ - там и отзывы есть, и плюсы.
Не совсем понятно, почему цена такая, если openal стоит 20 баксов, а у вас 300 р. Где подвох?
Условно говоря, мы берем OpenAI аккаунт, берем к нему ключ, и пропускаем несколько пользователей по нему через наш сервис - поэтому дешевле.
(На самом деле схема несколько сложнее и включает промежуточного провайдера, но упрощенно - вот так)
Не ведитесь на этот лохотрон!
Приобрел тариф "Базовый + GPT-4 - 399 р. за 30 дней"
Не смог получить ни одного ответа от чата, все время падает с ошибкой!
Писал в техподдержку на почту указанную на сайте support@vsegpt.ru - ни ответа ни привета!
Не знаю, куда вы там писали, я на запросы пользователей по почте отвечаю постоянно. На сайте после регистрации указан адрес Телеграм-канала. Бесплатный вариант тоже есть, по дефолту, чтобы попробовать.
И... смысл было что-то приобретать, если у вас сразу не работало?