Обучение ChatGPT на своих данных с сайта или из текста - алгоритм gLoRA

В данной статье мы изучим методику обучения ChatGPT на своих данных, различных текстах и интернет-сайтах, необходимых для интеграции в нейросеть.
Обучение нейросети ChatGPT дает возможность преодолеть ограничения базового набора данных, поскольку на данный момент в стандартной версии ChatGPT способен отвечать лишь на те вопросы, информация о которых у него уже имеется. Теперь же у вас есть возможность обучить нейросеть ChatGPT реагировать на разнообразные запросы, предоставив ему необходимые текстовые данные.

В данной статье мы рассмотрим алгоритм под названием "gLoRA", созданный специалистами из компании Yes Ai. Этот алгоритм функционирует в рамках бота для Телеграма, известного как @yes_ai_bot.

gLoRA, что расшифровывается как "gpt Low Rank Adaptation", представляет собой метод низкоуровневой адаптации для искусственного интеллекта, в частности, для ChatGPT.

Этот алгоритм может оказаться полезным в различных областях применения:

• обучение на индивидуальных статьях для формирования ответов на специфические вопросы
• Разработка обучающих программ для создания промптов для нейросетей, которая способна генерировать изображения на основе текстового описания.
• анализ текстовой переписки с клиентской поддержкой для создания автоматизированных ответов на запросы клиентов

Возможности использования алгоритма gLORA действительно обширны, и вы можете самостоятельно определить, какие задачи он поможет вам решить в вашей практической деятельности.

В качестве источника обучения для модели gLoRA вы вольны использовать любые ресурсы, доступные в интернете. Это дает возможность в дальнейшем получать основанные на этих данных ответы на ваши запросы в любой момент.

При отправке запроса боту @yes_ai_bot с описанием вопроса и идентификатором ранее обученной модели gLoRA, наша система начнет процесс поиска, отбора и анализа информации, чтобы нейросеть ChatGPT смогла предоставить точный ответ.

Если в вашей персонализированной модели gLoRA не найдется информация для ответа на вопрос, бот Yes Ai уведомит вас о том, что ответ пока не входит в базу знаний нейросети. Тем не менее, предоставляется возможность дополнительного обучения модели gLoRA путем добавления новых данных. Это особенно удобно для создания и расширения собственной базы знаний, например, о вашем бизнесе.

Вам, возможно, известно ограничение мессенджера Телеграм на размер сообщений, отправляемых для получения ответов от искусственного интеллекта ChatGPT. Эту проблему можно обойти с использованием алгоритма gLoRA, интегрированного в @yes_ai_bot. Это позволяет вам подготовить модель, обучив ее на всех доступных текстах и документах, что в дальнейшем дает возможность задавать вопросы, опираясь на созданную локальную базу данных. При этом количество текстового материала для обучения модели не имеет существенных ограничений.

Чтобы настроить ChatGPT на использование информации с определенных сайтов, выполните следующие шаги в Телеграм-боте @yes_ai_bot:

1. Откройте бота @yes_ai_bot в Телеграм.
2. В меню, расположенном внизу экрана, выберите опцию, относящуюся к нейросети "ChatGPT".
3. Включите функцию "+WEB", которая позволяет нейросети ChatGPT получать доступ к данным в интернете.
4. Отправьте боту следующую команду:
   
   --glora-urls link1 link2 link3
   
   ...где "link1 link2 link3" замените на фактические URL-адреса интересующих вас сайтов, разделенные пробелами.
5. После отправки команды подождите сообщение от бота, подтверждающее, что модель gLoRA была обучена с использованием предоставленных вами ссылок.
6. В ответном сообщении вы получите уникальный идентификационный ключ, например, <glora:1049>, который позволит вам задавать вопросы в режиме "+WEB", получая ответы, основанные на информации с указанных вами сайтов.

Заметка: Для того чтобы обучить модель gLoRA, следует использовать исключительно актуальные ссылки, которые ведут к страницам, содержащим текстовый материал объемом не менее 60 слов. В настоящее время форматы PDF, Google таблицы и текстовые документы не подлежат использованию.

Заметка: Мы настоятельно советуем вам сразу же сохранять ваши ключи доступа к gLoRA, поскольку в дальнейшем поиск этих данных в переписке с ботом может потребовать значительных усилий.

Для того чтобы задействовать gLoRA в создании ответов на ваши вопросы, вам доступны различные ключи gLoRA, включая те, что были разработаны вами лично или другими пользователями Yes Ai.

• Запустите бота @yes_ai_bot в мессенджере Телеграм.
• В меню, расположенном в нижней части экрана, выберите опцию нейросети ChatGPT и включите опцию "+WEB".
• Отправьте боту ваш запрос, добавив к нему ключ в следующем формате: <glora:****>
  где **** обозначает уникальный идентификатор вашей модели gLoRA.

Вот пример того, как можно сформулировать запрос с применением gLoRA:
<glora:1263> как составить эффективный промпт для создания аниме-иллюстраций

Заметка: при работе с нейросетью вы имеете возможность активировать до двух ключей <glora:****> в рамках одного запроса. Это позволит вам получать ответы, используя ресурсы двух различных моделей gLoRA одновременно.

Заметка: окончательная стоимость запросов будет определяться исходя из размера предоставленного контекста и объема сгенерированного ответа. Детальную информацию о стоимости токенов для нейросети ChatGPT вы можете найти, обратившись к боту @yes_ai_bot с командой /prices.
Хочу подчеркнуть, что за использование функции gLoRA дополнительная плата не взимается; тарификация осуществляется исключительно за количество токенов, отправленных и полученных от нейросети ChatGPT.

Заметка: вы можете применять gLoRA в различных версиях модели ChatGPT, включая 4_turbo и 3.5_turbo. Для этого в интерфейсе бота @yes_ai_bot предусмотрен специальный переключатель "GPT 4". Обратите внимание, что модель ChatGPT 4 обычно предоставляет более точные ответы, однако стоимость токенов в этом случае будет выше.

У вас есть возможность обучить нейросеть ChatGPT, используя материалы с ведущих страниц результатов поисковиков, полученных в ответ на определенный запрос.

Для начала процесса обучения примените команду ниже:

--glora-search *****

...где ***** обозначает текст запроса, который будет использован для извлечения данных с релевантных страниц веб-сайтов, выявленных поисковыми системами.

Вот пример команды для обучения gLoRA на основе результатов поиска:

--glora-search как создавать промпты для midjourney

...при этом нейросеть будет обучаться на материалах, полученных по запросу "как создавать промпты для midjourney".

Для получения информации о содержании обучения конкретной модели gLoRA, воспользуйтесь следующей командой, направленной боту:

--glora-about ****

Здесь **** следует заменить на номер интересующей вас модели gLoRA.

Вот пример того, как выглядит запрос:
--glora-about 1263

И вот пример того, как может выглядеть ответ бота на запрос описание модели gLoRA:

Описание gLoRA 1263: Эта модель заточена под предоставление рекомендаций по созданию эффективных запросов для нейросети Midjourney. Она включает в себя использование нейросетей и технологии ChatGPT, обучение составлению запросов для нейросетей, совершенствование подсказок и начальные инструкции по созданию привлекательного контента для Midjourney.

Мы создали инновационный алгоритм, способный автоматически определить все страницы выбранного вами веб-сайта и использовать их для обучения модели gLoRA на основе извлеченных текстов. Данный подход применим исключительно к тем сайтам, которые обладают структурой "sitemap".

Для запуска процесса обучения модели gLoRA используйте команду:
--glora-sitemap URL

...где URL обозначает адрес главной страницы сайта, тексты с которого предполагается использовать для обучения нейросети ChatGPT.

ОБРАТИТЕ ВНИМАНИЕ: по умолчанию, наша система обработает не более 300 уникальных ссылок из карты сайта, однако вы имеете возможность регулировать это число с помощью команды:
--glora-sitemap URL --maxlinks XX

...где URL означает адрес веб-сайта, с карты которого предстоит обучение gLoRA
...XX представляет собой число в диапазоне от 10 до 1000, которое задает предельное количество страниц сайта, используемых для обучения модели gLoRA.

ЗАМЕТКА: Следует учитывать, что объем анализируемых страниц напрямую влияет на продолжительность процесса обучения. К примеру, обработка 100 страниц сайта займет около 10 минут.

СОВЕТ: В случае, если ваше желание - обучить модель gLoRA на текстах, которые у вас уже есть в документальном формате и которые не размещены в интернете, рекомендуем загрузить их на любой ресурс, позволяющий публиковать статьи, такой как teletype.in или telegra.ph. После загрузки всех необходимых документов, вы можете начать обучение модели, используя команду:
--glora-urls link1 link2 link3

где "link1 link2 link3" представляет собой список ссылок на ваши текстовые материалы. Обратите внимание, что за один раз можно указать не более 50 ссылок.

Чтобы дообучить существующую модель gLoRA с применением новых данных, воспользуйтесь одним из методов, упомянутых в данной статье: обучение через запросы в поисковике, использование карты сайта или добавление указанных URL-адресов.

Для запуска процесса улучшения модели используйте дополнительный аргумент командной строки:

--enrich xxxx

Здесь xxxx обозначает идентификатор уже имеющейся модели gLoRA, которую вы хотите улучшить.

Термин "enrich" означает "улучшить" или "обогатить".

По завершении процесса дообучения, вам будет предоставлен уникальный идентификатор новой модели gLoRA, объединяющей исходные данные и новую информацию, полученную в ходе дополнительного обучения.

Стоит отметить, что за использование данных, уже присутствующих в оригинальной модели gLoRA, плата не взимается. Оплата производится только за интеграцию новых данных в процессе обучения.

Для того чтобы начать процесс дообучения модели gLoRA номер 1008 с использованием определенного поискового запроса, воспользуйтесь следующей командой:

--glora-search --enrich 1008 [ваш поисковый запрос]

Здесь "[ваш поисковый запрос]" необходимо заменить на интересующий вас запрос, который будет использован для сбора новых данных.

Если же вы хотите обучить модель gLoRA номер 1008 на основе конкретных веб-страниц, используйте команду:

--glora-urls --enrich 1008 [ссылка1] [ссылка2] [ссылка3]

В этом случае "[ссылка1] [ссылка2] [ссылка3]" следует заменить на актуальные URL-адреса, содержащие тексты для обучения.

Инструкция для дообучения модели gLoRA с использованием карты веб-сайта:

--glora-sitemap --enrich 1008 URL

...здесь 1008 обозначает идентификатор модели gLoRA, подлежащей дообучению

URL представляет собой веб-адрес, по которому будет выполнено дообучение указанной модели gLoRA с порядковым номером 1008.

Вопрос "Существуют ли в Yes Ai API для интеграции моделей gLoRA?"

В настоящее время такие методы отсутствуют, однако их разработка уже ведется. В ближайшем будущем вы получите возможность интегрировать модели gLoRA в свои проекты, что позволит, к примеру, использовать ИИ для общения с клиентами в чате.

ОБРАТИТЕ ВНИМАНИЕ: в случае, когда вам необходимо всего лишь единожды обратиться к веб-сайту или к отдельным его страницам для нахождения ответа на ваш вопрос, вы можете воспользоваться алгоритмом "+WEB". Этот алгоритм дает возможность нейросети ChatGPT подключиться к интернету. Более детальную информацию об этом методе вы можете найти здесь: