Кейс: Как быстро сгенерировать статьи при помощи нейросети ChatGPT: От сбора URL Лягушкой до парсинга и генерации статей

В данной статье мы поэтапно разберем, как быстро и эффективно можно создать уникальный контент для наших сайтов. Посмотрим на деле, как спарсить донора-лидера по нашей нише, и на базе его статей сгенерировать уже наши, уникальные статьи. Данный способ очень простой, но остается максимально эффективным и рабочим по сей день. Ну что же, давайте приступать. Сейчас будет немного теории для новичков и тех, кто только начинает разбираться в теме парсинга конкурентов и генерации уникальных статей при помощи нейросети ChatGPT. Я бы даже назвал эту статью кейсом, так как тема может действительно приносить хороший денежный доход в виде пассивного и активного заработка, если грамотно подойти к вопросу конечно. Отвлеклись от темы, продолжаем.

Сайт-донор - это веб-сайт, с которого осуществляется сбор данных с использованием парсинга. Это источник информации, с которого вы хотите получить данные путем автоматического извлечения информации из HTML-кода веб-страниц.

Парсинг данных с сайта-донора может включать в себя сбор различных типов информации, включая текст, изображения, цены, рейтинги, отзывы и другие данные, которые находятся на веб-страницах этого сайта.

Выбор правильного сайта-донора важен для успешного парсинга данных. Это может быть любой веб-сайт, который предоставляет необходимую информацию для ваших целей. Например, это могут быть интернет-магазины, новостные порталы, социальные сети, форумы или любые другие сайты, где вы хотите получить данные.

Парсинг сайтов конкурентов - это процесс автоматического извлечения и анализа данных с веб-сайтов, принадлежащих или связанных с конкурентами. Этот процесс позволяет получить информацию о статьях, находящихся на таких сайтах и даже сами статьи, (как раз то, что нас интересует), продуктах, услугах, ценах, акциях и других факторах, связанных с конкурентами, что может быть полезно для анализа рынка, разработки конкурентных стратегий или создания своих сайтов с использованием полученных данных..

Для осуществления парсинга сайтов конкурентов используются специальные программы, называемые парсерами или скраперами. Парсеры отправляют запросы на веб-сайт конкурента, получают HTML-код страницы в ответ и извлекают необходимые данные из этого кода. Они могут использовать различные методы, такие как регулярные выражения или CSS-селекторы, для извлечения информации.

Парсинг сайтов конкурентов может предоставить ценную информацию, включая исходные статьи со всеми вытекающими из этого преимуществами. Эти данные могут помочь нам понять, как конкуренты позиционируются на рынке, какие стратегии они используют и как можно улучшить свою собственную конкурентоспособность.

Парсинг сайтов конкурентов - это инструмент, который может помочь вам получить информацию о конкурентной среде и принять обоснованные решения для себя.

Сбор URL-адресов донора с помощью Screaming Frog (Лягушки) - это процесс использования программного обеспечения Screaming Frog SEO Spider для сканирования веб-сайтов и сбора информации о URL-адресах, которые ссылаются на этот сайт. Screaming Frog SEO Spider является популярным инструментом для аудита и анализа сайтов, и он может быть полезен для различных задач SEO и веб-аналитики.

При использовании Screaming Frog SEO Spider, программа обходит веб-сайт, сканирует все его страницы и идентифицирует URL-адреса, которые указывают на этот сайт. Это включает внешние ссылки с других веб-сайтов, а также внутренние ссылки на страницы сайта. Собранные URL-адреса могут быть использованы для анализа входящих ссылок, определения структуры сайта, проверки качества внутренней ссылочной сети и многого другого.

Screaming Frog SEO Spider предоставляет различные данные о собранных URL-адресах, такие как мета-теги, заголовки страниц, размеры страниц, анкорные тексты ссылок и другие SEO-релевантные метрики. Эта информация может быть использована для оптимизации сайта, выявления проблем и улучшения его видимости в поисковых системах.

Сбор URL-адресов донора с помощью Screaming Frog SEO Spider является важным инструментом для анализа веб-сайтов и оптимизации SEO. Он помогает понять, как веб-сайт взаимодействует с другими сайтами и предоставляет ценную информацию для улучшения его видимости и рейтинга в поисковых системах.

ChatGPT - это нейронная сеть, разработанная компанией OpenAI. Она представляет собой модель генерации текста, которая может поддерживать диалог с людьми. ChatGPT основан на архитектуре GPT-3.5, которая имеет ряд улучшений по сравнению с предыдущими версиями. Она предлагает более развитое понимание естественного языка, способность генерировать согласованные и качественные ответы, а также улучшенные возможности рассуждения и анализа контекста. Одной из особенностей ChatGPT является его способность извлекать информацию из большого объема текстовых данных, что позволяет ему быть информированным на актуальные темы и отвечать на широкий спектр вопросов.

Генерация статей с использованием специального софта - это процесс создания текстов с помощью компьютерной программы, специально разработанной для этой цели. Такой софт обычно использует технологии искусственного интеллекта, такие как глубокое обучение и нейронные сети, чтобы анализировать и понимать большие объемы информации, а затем генерировать новые тексты на основе этого анализа.

Специальные программы для генерации статей могут имитировать стиль автора, повторять определенные принципы и структуры, и даже создавать новые идеи и аргументы. Они могут быть полезными инструментами для автоматизации процесса написания статей или для создания больших объемов контента.

Screaming Frog SEO Spider

https://www.screamingfrog.co.uk/seo-spider/

Screaming Frog SEO Spider - это программа для аудита веб-сайтов, которая помогает веб-мастерам и SEO-специалистам анализировать и оптимизировать сайты. Она сканирует сайт и предоставляет подробную информацию о его структуре, ссылках, мета-данных, заголовках и других факторах, которые влияют на SEO.

Screaming Frog SEO Spider доступна для операционных систем Windows, Mac и Linux. Она имеет бесплатную версию, которая ограничена по функциональности, и платную версию, которая предлагает расширенные возможности и поддержку. Эта программа является одним из популярных инструментов для аудита SEO и широко используется в индустрии поисковой оптимизации сайтов.

Лягушку мы будем использовать для того, чтобы спарсить ссылки на статьи у нашего сайта-конкурента. Данный софт отличнейшим образом подходит для данной задачи.

X-Parser Light

https://x-parser.ru/software/1-x-parser-light.html

X-Parser Light - это мощный инструмент для парсинга тематического контента, который может использоваться для создания статейных сайтов с использованием ключевых слов или ссылок. Он предоставляет возможность массового создания сайтов и привлечения трафика. X-Parser обладает функцией сбора контента с картинками и видео, что делает его идеальным инструментом для создания качественных статейных сайтов. Кроме того, X-Parser имеет хорошие поведенческие факторы, что делает его полезным дополнением в вашем арсенале инструментов для создания сайтов.

X-Parser мы будем применять для того, чтобы полученные в Лягушке ссылки преобразовать в статьи. Парсер выкачает для нас все статьи-конкурентов. Также он умеет оставлять разметку, которая используется у конкурента, а это просто шикарная особенность.

X-GPTWriter

https://x-parser.ru/software/150-xgptwriter.html

X-GPTWriter - это программа для генерации оригинального контента, основанная на ChatGPT. Она позволяет легко создавать качественные статьи на основе заданных ключевых слов или промтов. Отличие X-GPTWriter в том, что он работает в пакетном режиме, позволяя сгенерировать десятки тысяч статей в день. Этот инструмент идеально подходит для создания статей, карточек товаров, страниц услуг, написания отзывов, добавления новостей, комментариев. X-GPTWriter позволяет создавать неограниченные объемы текстов.

Ну а это просто нереальная программа-находка, без которой не было бы этой статьи. Ведь данная программа является ключевым звеном в нашем кейсе. Благодаря X-GPTWriter мы наши спрашенные статьи чудесным образом преобразуем в уникальный офигительный контент, который будет даже лучше чем у конкурента. И конечно же, который сделает все усилия для того, чтобы ворваться в поисковую выдачу и стать на места нашего конкурента по ключевым запросам.

С программами, которые мы будем использовать для наших целей, мы ознакомились, и в целом, разобрались. Можем приступить к практической части статьи и наконец-то начать воплощать в действительность наш заветный план.

Начнем мы с того, что выберем и приобретем прокси для нашей программы X-GPTWriter. Как Вы наверняка слышали, а может быть если и нет, то компания OpenAI, разработчик известнейшей нейросети ChatGPT, заблокировала IP всех пользователей находящихся на территории России и Беларуси. Зачем они это сделали, для меня лично не понятно, но реальность такова, что для работы с ChatGPT нам понадобится прокси. Конечно, можно купить и VPN, но с проксями, как мне кажется, будет лучше. Да и работать в многопотоке тоже будет быстрее. Если нет, в комментариях меня поправьте.

Сейчас приведу список прокси, которые можно смело брать для работы как раз с ChatGPT. Конечно, все они широко известны, здесь не будет каких-то откровений (самые тайные я оставил для себя, готов поделиться в комментариях с теми, кому очень сильно надо, ну и для подогрева читательской аудитории). Дам лишь один совет, прокси ищите на зарубежных форумах и чем более неизвестный будет прокси, тем лучше.

Выберем варинат Proxy6.net. Данные прокси сейчас очень популярны, находятся на хайпе и в целом, отзывы о их работе положительные. Цены тоже более чем адекватные.

Я выбрал IPv4, так как именно такие прокси нужно добавлять в программу X-GPTWriter. Возьму 5 штук на сумму 495 рублей. Чтобы оплатить, нужно сначала зарегистрироваться на сайте и войти в свой кабинет. Благо, это очень быстро, даже не потребовалось подтверждать свою почту.

Оплата доступна любым удобным способом. Тут нам и банковские карты и крипта, WebMoney и Qiwi, есть и Робокасса. После оплаты, в личном кабинете мы увидим нашу покупку.

С прокси мы определились. Приобрели те, которые нам больше всего приглянулись например, а также, устроили по цене. Теперь самое время подключить их к нашей программе.

Открываем X-GPTWriter и во вкладке “Настройки прокси” в графе “Использовать прокси” выставляем “Да”. Дальше выбираем “Тип прокси” - “Auto”. В графе “Предпроверка прокси” можно выбрать, будут ли прокси проверяться на работоспособность перед запуском основных действий в программе. В пункте “Мобильные ли прокси” выбираем или “Мобильные” или “Обычные” или “Вперемешку”, зависит от того, какие Вы купили.

“Список прокси”. В этом пункте мы укажем путь к текстовому файлу, в который впишем наши прокси. Пример, как записать: 138.219.75.26:9406:Qo1rNs:08Y82W. Видим здесь IP, логин и пароль. Только копировать мои прокси не надо, это Вам пример формата, как нужно правильно их записывать в файле. Каждый с новой строки. Все, готово. Посмотрите скриншот внизу, чтобы свериться.

Прокси мы купили и благополучно добавили в программу, теперь можем переходить к покупке и добавлению аккаунтов ChatGPT.

Данный процесс тоже совершенно несложный, так что давайте приступим. Аккаунты будем покупать на площадке FunPay.ru. Мне нравится большой выбор предложений и хороший разброс цен. Запомните, нам нужны готовые личные аккаунты ChatGPT с API ключами и балансом 5$. Такие аккаунты мы можем зарегистрировать и самостоятельно. Для этого понадобится время, предварительно-созданные почтовые ящики и много симок для подтверждения регистрации по номеру телефона. Но я считаю, что не стоит с этим сильно заморачиваться. Благо, аккаунты стоят совсем недорого и их легче и проще просто купить.

Ну что же, находим интересное предложение с адекватной ценой и переходим к процессу покупки.

Возьмем сразу побольше, штук эдак 20, особенно по вкусной цене. Как только мы оплатим покупку, с нами выйдет на связь продавец и пришлет аккаунты в текстовом виде. Все, что нам останется сделать, это подтвердить сделку и перенести полученные данные в предварительно-созданный в блокноте текстовый файл. У меня он называется api.txt.

Опять же, предупреждаю Вас, не копируйте мои API, я показываю Вам их исключительно в качестве примера. Не хочу, чтобы они умерли, когда я размещу данную статью.

Теперь осталось подключить наш файл api.txt к программе. Открываем X-GPTWriter и в окне “Настройки аккаунтов” находим графу “ChatGPT аккаунты”. Указываем путь к нашему файлу и все готово.

Вот таким нехитрым способом, мы быстро купили аккаунты ChatGPT и подключили их к программе. Теперь пришло время заняться нашими конкурентами. Для этого мы мы соберем ссылки на все его статьи при помощи программы ScreamingFrog.

Итак, копируем ссылку на сайт нашего конкурента. У меня это сайт https://vdohnovium.ru/ и вставляем его в графу “Enter URL to Spider”.

Нажимаем кнопку “Start” и ждем завершения сбора ссылок. Буквально через пару десятков секунд, парсинг ссылок завершится и мы получим приблизительно вот такой результат. Как видите на скриншоте ниже, у нас получился список ссылок-статей, которые я отфильтровал по “H1”, а затем отобразил по “длине заголовков”. Сделал я это для того, чтобы отделить именно статьи от всякого ненужного нам мусора, по типу категорий, меток и прочих страниц, не представляющих для нас какой-либо ценности.

Теперь осталось только лишь сохранить полученный результат. Можно это сделать выбрав в меню функцию “Bulk Export”, а затем “Links” и “All Links”. Результат у нас сохранится в CSV файле, с которым можно затем работать. Но я делаю проще. Просто выделяю необходимые мне ссылки и копирую их в буфер. Посмотрите на скриншоте.

После чего, сразу же, без лишних движений и операций, вставляю данные в наш парсер. Как раз сейчас переходим к данному шагу.

Как видите, на прошлом этапе мы очень быстро и легко собрали ссылки на статьи у нашего донора - сайта-конкурента. Использовали для этого “народную” программу “Лягушку” и теперь у нас на руках имеются заветные ссылки.

Ну что же, теперь также легко и просто мы спарсим все статьи по этим ссылкам. Запускаем программу X-Parser и сразу же, в начальном окне “Список кейвордов”, (к слову, сюда можно добавлять не только ключи, но и ссылки), вставляем наши ссылочки. Смотрите, как это выглядит у меня на скриншоте.

Теперь переходим к окну “Параметры”. Здесь останавливаться надолго не будем. Выставьте все согласно скриншоту, который я приведу в конце этого абзаца. Единственное, затрону несколько значимых параметров.

“Сколько статей получить”. Устанавливаем такое значение, сколько ссылок мы добавили в “Список кейвордов”. Если мы, например, добавили 100 ссылок, то и статей нам нужно получить столько же.

“Форматирование контента”. В этом параметре необходимо выбрать вариант “Сохранить базовую разметку”. Это нам нужно для того, чтобы сохранить разметку нашего конкурента и затем правильно сгенерировать статьи уже в другой программе X-GPTWriter.

“Формат обработанного текста”. Ставим “TXT - Текст как есть”. “Формат сохранения контента” - “Каждая статья в отдельном файле в одной папке”.

“Путь к сохраненному контенту”. Указываем место, куда сохранятся статьи.

Теперь переходим к окну “Параметры”. Здесь останавливаться надолго не будем. Выставьте все согласно скриншоту, который я приведу в конце этого абзаца. Единственное, затрону несколько значимых параметров.

“Сколько статей получить”. Устанавливаем такое значение, сколько ссылок мы добавили в “Список кейвордов”. Если мы, например, добавили 100 ссылок, то и статей нам нужно получить столько же.

“Форматирование контента”. В этом параметре необходимо выбрать вариант “Сохранить базовую разметку”. Это нам нужно для того, чтобы сохранить разметку нашего конкурента и затем правильно сгенерировать статьи уже в другой программе X-GPTWriter.

“Формат обработанного текста”. Ставим “TXT - Текст как есть”. “Формат сохранения контента” - “Каждая статья в отдельном файле в одной папке”.

“Путь к сохраненному контенту”. Указываем место, куда сохранятся статьи.

Результат получился выше всяких похвал. Теперь самое время перейти к генерации статей.

И снова, как видите, все очень просто. Парсинг сайтов-доноров так же прост, как и сбор урлов, не так ли? Конечно, это если знать и понимать, как все устроено. А еще, когда все разложено по полочкам и дан наглядный механизм действий.

Приступим к настройке программы X-GPTWriter. В главном окне программы “Основные опции” выберем “Основное действие” режим "Сделать копирайт статей на базе доноров". Это как раз именно та функция, которая необходима нам для наших целей.

Ниже, в пункте “Генерируемые элементы” отметим следующие значения:

Дальше нужно отметить вот такие значения:

Теперь переходим в раздел "Расширенные опции", он находится в боковом меню. Нам нужно в пункте "Как использовать заголовки" выбрать варианты или "Дословно" или "Перефразировать". Обычно я выбираю вариант "Перефразировать". Это для того, чтобы заголовки в статьях, что мы спарсили у донора, у нас были уникальными и “своими”. Но если мы хотим точно соответствовать сайту-донору, и чтобы заголовки и подзаголовки у нас были такими же, как у него, нужно выбрать вариант "Дословно". Иногда я делаю и так. Больше в этом окне изменять ничего не нужно.

Поехали дальше:

Настройка программы полностью завершена. Сверьтесь пожалуйста со скриншотами выше, чтобы ничего не упустить. Ну а мы двигаемся дальше. Осталось совсем чуть-чуть.

Вот мы и подошли, можно сказать, к финалу нашей статьи и этого обширного гайда. Осталось нажать кнопку “ОК” и запустится процесс генерации наших статей. У меня обычно этот процесс занимает не много времени и проходит достаточно быстро.

На этот раз, впрочем как и всегда, никаких затруднений не возникло. Статьи сгенерировались очень быстро. Особая благодарность автору софта X-GPTWriter, который всегда держит руку на пульсе и пилит обновления практически каждый день. Программа постепенно превращается в настоящий ультимативный и многофункциональный комбайн, с огромным крутым функционалом. Так держать, великолепная работа!

Теперь можно посмотреть результат. Давайте перейдем в папку, куда сохранились свежеиспеченные статьи, и откроем одну из них.

Отлично, как видите, перед нами новая и уникальная, сгенерированная нейросетью статья. Статья качественная, логичная и по все моим наблюдениям и различным тестам, ничем не уступающая статье, написанной опытным и грамотным копирайтером. А опыта у меня в этом деле, скажу я Вам, очень много. Я скажу даже больше, открою секрет. Статьи, полученные в программе, даже лучше и во многом превосходят любой контент, который может написать даже самый грамотный копирайтер. И не верьте, когда Вас уверяют, что ChatGPT пишет плохо. Это не так. Смелка, вдумчивый подход, а также, грамотная настройка и невероятно качественные авторские промты - вот залог отличного результата.

Вывода как такового не будет. Дам Вам место для собственных фантазий и размышлений. Подумайте насчет масштабируемости данной схемы. О том, как можно создавать свои сетки сайтов для продажи рекламы и партнерских товаров. А сколько еще разных идей для использования схемы, ухх... Применений масса, осталось только самое важное и тяжелое - взяться за дело. Не откладывать в долгий ящик. Просто взять и начать действовать прямо здесь и сейчас.

Успехов Вам! С наступающим Новым годом!