Использование нейросетей в SEO: генерация статей, кластеризация и определение коммерческости запросов на OpenAI GPT-3

Всем привет! Меня зовут Симагин Андрей, я являюсь автором программ SiteAnalyzer и KeyClusterer, и сегодня я хочу показать 5 примеров использования искусственного интеллекта на нейросети OpenAI (GPT-3) применительно к SEO на примерах кластеризации поисковых запросов, определения степени их коммерциализации, оценки качества контента, генерации статей по ключевым словам и извлечению сущностей из текста. Все это делается с регистрацией, СМС и только через VPN, но, в отличии от классических способов, применяемых сеошниками - без использования поисковых систем. Только OpenAI, только хардкор!

Примечание. Инструкция, как зарегистрироваться для тестовых запросов к OpenAI, описана в конце статьи.

Поехали!

Как известно, для определения степени коммерциализации запросов в классическом варианте, нам нужно пройти несколько этапов:

По каждой ключевой фразе нужно получить выдачу ТОП 10-20 в двух противоположных регионах Яндекса, например: Москва и Новосибирск.
Сравнить URL из двух списков и получить процент (%) их совпадения.
Для большей точности можно поискать в сниппетах коммерческие ключевые слова, типа «купить, цена, цены, стоимость» и т.п.
Дополнительно, можно спарсить число объявлений в директе и на основе их количества делать уточняющие выводы.

В итоге, для запросов типа «где отдохнуть в турции в сентябре», с большой долей вероятности мы определим, что это информационный запрос, так как выдача, скорее всего, будет одинакова в Москве и Новосибирске на 90% и более.

А вот для запроса «заказать такси» при сравнении URL окажется, что посадочные страницы будут совпадать, например, лишь на 10%, а то и вовсе будут разными, ведь в том же Новосибирске свои, региональные сайты заказа такси, которые будут отличаться от московских. Что дает нам понимание, что это коммерческий запрос.

Таким образом, хорошо, что у Яндекса есть регионы, а у вас много лимитов Яндекс XML :-) И, хоть программно реализовывается все это не особо сложно, но тем не менее трудоемко, так как нужно для одной фразы делать не один, а два запроса к поисковой системе, тратить XML-лимиты, решать капчи и дальше проводить дополнительные манипуляции для определения степени коммерческости.

Однако, благодаря Илону Маску, у нас появилась возможность использования искусственного интеллекта OpenAI, который предоставляет возможность бесплатного тестирования своих технологий. (к слову сказать, тестовый режим ограничен $18 долларами, которые расходуются на запросы к OpenAI. После того, как они израсходуются, нужно будет пополнить аккаунт и в конце месяца оплатить $18 долларов + то, что было израсходовано сверх этого)

Еще есть такой фактор, как размер блоков для отправки и получения результатов запроса к OpenAI, ограниченный 4096 байтами (длина отправляемого текста + длина получаемого). Но этот нюанс оставлю на вас. Подробнее об ограничении можно ознакомиться в статье на Stackoverflow.

1. Определение степени коммерциализации запросов

Как ни странно, написать скрипт, определяющий степень коммерциализации при помощи OpenAI гораздо легче, нежели с использованием поисковых систем.

Все что нужно для реализации скрипта с применением OpenAI на том же PHP - это скачать с GitHub библиотеку OpenAI PHP SDK и можно сразу начинать работать с нейросетью.

Алгоритм реализации скрипта кластеризации запросов:

Берем заранее подготовленный список ключевых фраз.
Даем задание нейросети для нашего списка слов вернуть для каждого ключевого слова намерение поиска (информационный, транзакционный или навигационный) и этап воронки конверсии (обнаружение, рассмотрение или конверсия). Указать, что в каждой стоке результата будет одно ключевое слово в формате: Ключевое слово | Намерение | Стадия.
Далее происходит некая AI магия :-)
После получения ответа мы формируем массив и выводим результат в табличном виде.
Вуаля.

Пример результата работы скрипта / Протестировать скрипт

Пример реализации скрипта на PHP:

Самое интересное, что все запросы к OpenAI мы пишем словами и отправляем нейросети в текстовом виде, которая распознает наш запрос и отдает данные в желаемом для нас формате. При этом, сам запрос может быть задан на любом языке. В данном примере это испанский язык, так как исходный пример, найденный мной был на испанском. Но сами ключевики отдаются нейросети - на русском. Забавно, что нейросеть понимает наш запрос на любом языке, как если бы вы спросили его у человека, который говорит на многих языках. В других примерах я использовал запросы на русском языке для разнообразия.

2. Кластеризация запросов на основе OpenAI

Кластеризация - это группировка неких данных по смысловому признаку. В нашем случае - ключевых запросов.

Данная задачка будет посложнее и $$ дороже, так как нужно будет делать по два запроса к OpenAI для каждого ключевого запроса.

Алгоритм кластеризации запросов на основе OpenAI:

Берем заранее подготовленный список ключевых запросов.
Даем задание нейросети для нашего списка слов вернуть только названия общих категорий (одна под другой), в которые следует сгруппировать все ключевые слова.
Формируем массив категорий, удаляем дубли.
Итак, у нас есть созданные категории, и теперь мы пройдемся по списку ключевых слов второй раз, чтобы классифицировать их все в созданных категориях путем подобного запроса: Для следующего списка слов: «ключевики_через_запятую» присвоить название одной из следующих категорий: «категории_через_запятую». Результат данного шага выглядит примерно так «окна veka в москве: Окна Veka» (запрос: категория).
Далее, мы создаем итоговый массив списка сопоставлений ключей и категорий путем преобразования строки в массив через двоеточие.
Выводим результат в табличном виде.

Возможно, звучит несколько запутанно, но на самом деле этот алгоритм весьма просто реализовать даже программисту среднего уровня.

Пример результата работы скрипта / Протестировать скрипт

Пример реализации скрипта на PHP:

<? header('Content-Type: text/html; charset=utf-8'); $api_key = 'ваш_ключ_апи'; require __DIR__.'/open-ai/vendor/autoload.php'; use Orhanerday\OpenAi\OpenAi; $open_ai = new OpenAi($api_key); if(isset($_POST['zaproses'])) { $text_lines = explode("|", $_POST['zaproses']); } else { $f = file_get_contents($_SERVER['DOCUMENT_ROOT'].'/ai-cluster.txt'); $text_lines = explode("\r\n", $f); } $tmp_arr = array(); $categorias_keywords = array(); $table = '<br><table width="*" align="center" border="0" cellpadding="2" cellspacing="2" class="tbl" id="mass_check_dom">'."\r\n"; $table .= '<tr><td height="32" class="td_header" align="center">#</td><td height="32" class="td_header" align="center">Категория</td><td height="32" class="td_header" align="center">Запрос</td></tr>'."\r\n"; $i = $j = 0; foreach ($text_lines as $key => $val) { if((($key % 10 == 0) && ($key > 0)) || ($key == count($text_lines) - 1)) { if($key == count($text_lines) - 1) // добавляем последний элемент массива $tmp_arr[] = $val; $s = implode(', ', $tmp_arr); foreach($categorias_keywords as $kg => $vg) { $tg = str_replace(array('- ', '-', '•', '«', '»', '*'), '', $vg); // $tg = rtrim($tg, '.'); // точка в конце $tg = preg_replace('/[0-9]+/', '', $tg); // удаляем цифры $tg = str_replace(array('.'), '', $tg); $categorias_keywords[$kg] = trim($tg); } $categorias_keywords = array_diff($categorias_keywords, array('')); // удаляем пустые элементы $ck = implode(', ', $categorias_keywords); $tmp_arr = array(); // очищаем массив // Если это первая итерация цикла, мы просим GPT3 создать список подробных категорий для ключевых слов в пакете if (count($categorias_keywords) == 0) { // $prompt = "Para el siguiente listado de palabras: ".trim($s)." devuelve únicamente el nombre de las categorías genérica (una debajo de otra), en las que agrupar todas las keywords."; $prompt = "Для следующего списка слов: «".trim($s)."» вернуть только названия общих категорий (одна под другой), в которые следует сгруппировать все ключевые слова."; $prompt_text = "Для следующего списка слов: «".mb_substr($s, 0, 40)."..» вернуть только названия общих категорий (одна под другой), в которые следует сгруппировать все ключевые слова."; } // Если это не первая итерация цикла, мы просим GPT3 классифицировать ключевые слова в пакете, но перед назначением новой категории проверяем, что ее нет в category_keywords else { // $prompt = "Para el siguiente listado de palabras: ".trim($s)." devuelve únicamente el nombre de las categorías genérica (una debajo de otra), en las que agrupar todas las keywords. Si la keyword encaja en alguna de estas categorías, no crees una categoría nueva: ".trim($ck).". En caso contrario devuelve el nombre una categoría específicas y bien segmentadas/"; $prompt = "Для следующего списка слов: «".trim($s)."» вернуть только названия общих категорий (одна под другой), в которые следует сгруппировать все ключевые слова. Если ключевое слово подходит к одной из этих категорий, не создавать новую категорию: «".trim($ck)."». В противном случае вернуть название общей категории."; // определенной и хорошо сегментированной $prompt_text = "Для следующего списка слов: «".mb_substr($s, 0, 40)."...» вернуть только ... новую категорию: «".trim($ck)."». В противном ... категории."; // определенной и хорошо сегментированной } $complete = $open_ai->complete([ 'engine' => 'text-davinci-003', 'prompt' => $prompt, 'temperature' => 0.7, 'max_tokens' => 1000, 'frequency_penalty' => 0, 'presence_penalty' => 0.6, ]); $res = json_decode($complete, true); $t = explode("\n", trim($res['choices'][0]['text'])); if(isset($res['error'])) { $table .= '<tr><td class="td_cell" valign="top">'.($i + 1).'</td><td class="td_cell" valign="top">N/A</td><td class="td_cell">'.'Error OpenAI: '.$res['error']['message'].'</td></tr>'."\r\n"; $table .= '</table>'; if ($test) echo $table; if (!$test) echo json_encode($table); exit(); } // Разделяем категории, которые вернул GPT3 $categorias_keywords = array_merge($categorias_keywords, $t); if ($test) echo 'Запрос v1.'.($j + 1).': '.$prompt_text.'<br><br>'."\r\n"; $j++; $tmp_arr[] = $val; } else { $tmp_arr[] = $val; } } foreach($categorias_keywords as $k => $v) { $t = str_replace(array('- ', '-', '•', '«', '»', '*'), '', $v); $t = rtrim($t, ':'); // бывает : в конце $t = preg_replace('/[0-9]+/', '', $t); // удаляем цифры $t = str_replace(array('.'), '', $t); $categorias_keywords[$k] = trim($t); } $categorias_keywords = array_diff($categorias_keywords, array('')); // удаляем пустые элементы $categorias_keywords = array_unique($categorias_keywords); sort($categorias_keywords); // Теперь у нас есть созданные категории, мы пройдемся по списку ключевых слов во второй раз, чтобы классифицировать их все в созданных категориях // Мы инициализируем массив, в котором будем хранить ключевые слова по категориям $keywords_categorizadas = array(); $i = $j = 0; foreach ($text_lines as $key => $val) { if((($key % 10 == 0) && ($key > 0)) || ($key == count($text_lines) - 1)) { if($key == count($text_lines) - 1) // добавляем последний элемент массива $tmp_arr[] = $val; $s = implode(', ', $tmp_arr); $ck = implode(', ', $categorias_keywords); $tmp_arr = array(); // очищаем массив $prompt = "Para el siguiente listado de palabras: «".trim($s)."» asigna la keyword a alguna de estas categoría: «".trim($ck)."»"; // $prompt = "Для следующего списка слов: «".trim($s)."» присвоить название одной из следующих категорий: «".trim($ck)."»"; $prompt2 = $prompt; $complete = $open_ai->complete([ 'engine' => 'text-davinci-003', 'prompt' => $prompt, 'temperature' => 0.7, 'max_tokens' => 1000, 'frequency_penalty' => 0, 'presence_penalty' => 0.6, ]); $res = json_decode($complete, true); $t = explode("\n", trim($res['choices'][0]['text'])); // Разделяем категории, которые вернул GPT3 $keywords_categorizadas = array_merge($keywords_categorizadas, $t); $j++; $tmp_arr[] = $val; } else { $tmp_arr[] = $val; } } // Мы проверили, что OpenAI не накосячил с разделителями foreach($keywords_categorizadas as $k => $v) { $t = str_replace(' - ', ': ', $v); $t = str_replace(array('- ', '-', '•', '«', '»', '"', '*'), '', $t); // $t = rtrim($t, '.'); // точка в конце $t = preg_replace('/[0-9]+/', '', $t); // удаляем цифры $t = str_replace(array('.'), '', $t); $keywords_categorizadas[$k] = trim($t); } $keywords_categorizadas = array_diff($keywords_categorizadas, array('')); // удаляем пустые элементы $i = 0; $categorias_keywords = array(); foreach($keywords_categorizadas as $k => $v) { if((mb_strpos($v, ':') > 0) && (mb_strpos($v, ',') === false)) // если есть разделитесль : и нет запятых { $pt = explode(":", $v); // ключевой запрос : группа if(($pt[0] != '') && ($pt[1] != '')) { $categorias_keywords[trim($pt[1])][] = trim($pt[0]); $i++; } } } $i = 0; foreach($categorias_keywords as $k => $v) { $table .= '<tr><td class="td_cell" valign="top">'.($i + 1).'</td><td class="td_cell" valign="top">'.$k.'</td><td class="td_cell">'.implode('<br>', $v).'</td></tr>'."\r\n"; $i++; } $table .= '</table>'; echo $table; ?>

3. Генерация заголовков Title и статей

По ключевому слову наш скрипт сгенерирует заголовок статьи, а по заголовку сгенерирует саму статью необходимого объема и по определенным требованиям.

Алгоритм:

Берем ключевой запрос.
Даем задание нейросети создать броский заголовок для статьи со следующей фразой «наша_фраза».
Затем даем задание нейросети сгенерировать исчерпывающую статью минимум из 400 слов и максимум из 700 с заголовком «наш_сгенерованный_броский_заголовок» интересную для пользователя, с HTML подзаголовками <H2> и абзацами <p>. Эта статья должна ответить на основные вопросы, которые возникают у пользователей Google по этой теме, ответить на их часто задаваемые вопросы.
Выводим результат на экран.

Пример результата работы скрипта / Протестировать скрипт

Пример реализации скрипта на PHP:

<? header('Content-Type: text/html; charset=utf-8'); $api_key = 'ваш_ключ_апи'; require __DIR__.'/open-ai/vendor/autoload.php'; use Orhanerday\OpenAi\OpenAi; $open_ai = new OpenAi($api_key); if(isset($_POST['zaproses'])) { $val = $_POST['zaproses']; } else { $text_lines = array( 'пластиковые она veka', 'мета-тег description', 'seo продвижение', 'автомобиль tesla', 'как испечь пирог', ); $val = $text_lines[rand(0, count($text_lines) - 1)]; } if(1 == 1) { $t = "Создайте броский заголовок для статьи со следующей фразой «".trim($val)."»"; $complete = $open_ai->complete([ 'engine' => 'text-davinci-003', 'prompt' => $t, 'temperature' => 0.7, 'max_tokens' => 100, 'frequency_penalty' => 0, 'presence_penalty' => 0.6, ]); $res = json_decode($complete, true); $t = trim($res['choices'][0]['text']); $t = rtrim($t, '.'); $title = str_replace(array('"'), '', $t); if(isset($res['error'])) { echo json_encode('Cant generate TITLE tag...'); exit(); } $cont = 'Сгенерировать исчерпывающую статью минимум из 400 слов и максимум из 700 с заголовком «'.$title.'» интересную для пользователя, с HTML подзаголовками <H2> и абзацами <p>. Эта статья должна ответить на основные вопросы, которые возникают у пользователей Google по этой теме, ответить на их часто задаваемые вопросы'; $complete = $open_ai->complete([ 'engine' => 'text-davinci-003', 'prompt' => $cont, 'temperature' => 0.7, 'max_tokens' => 3500, 'frequency_penalty' => 0, 'presence_penalty' => 0.6, ]); $res = json_decode($complete, true); $content = trim($res['choices'][0]['text']); $content = trim(mb_substr($content, mb_strpos($content, '.') + 1, mb_strlen($content))); } $text = '<p style="font-size: 18px"><strong>Запрос:</strong> «'.$val."»<br>\r\n".'<strong>Title:</strong> '.$title."</p>\r\n".'<p style="font-size: 18px"><strong>Контент:</strong></p>'."\r\n".$content; echo $text; ?>

4. Извлечение сущностей из текста

Данный инструмент показывает пример извлечения сущностей из текстов и ключевых запросов. По интересующему URL скрипт скачивает страницу и затем, используя нейросеть OpenAI (GPT-3), выделяет сущности, тип сущности и коэффициент значимости из видимого текста страницы.

Алгоритм:

Скачиваем содержимое интересующего URL.
Выделяем из HTML-кода содержимое Title, H1 и видимый текст страницы (Plain Text).
На основе контента получаем токены (список уникальных слов на странице).
Фильтруем токены, оставляя только существительные и глаголы.
Соединяем отфильтрованные токены в строку с разделителем «пробел».
Даем задание нейросети извлечь 10 сущностей с наивысшей «Оценкой заметности», зная, что Title это: {заголовок_title}, H1 это: {заголовок_h1}, и затем текст. В дополнение к объекту вернуть тип объекта и «Оценку значимости». Ответ отобразить в формате JSON. Текст: {текст_страницы}.
Выводим результат на экран.

Используя результаты работы скрипта можно определять тематику страниц, выявление связей между документами, тип документов либо произвольных текстов.

Пример результата работы скрипта / Протестировать скрипт

Пример реализации скрипта на PHP:

<? header('Content-Type: text/html; charset=utf-8'); $api_key = 'ваш_ключ_апи'; require __DIR__.'/open-ai/vendor/autoload.php'; use Orhanerday\OpenAi\OpenAi; $open_ai = new OpenAi($api_key); if(isset($_POST['url'])) { $val = $_POST['url']; } else { $val = 'https://incom.ru/'; } function get_page($url, $postdata = '') { $query = null; $ch = curl_init(); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_TIMEOUT, 60*2); curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0); curl_setopt($ch, CURLOPT_REFERER, $url); curl_setopt($ch, CURLOPT_AUTOREFERER, 1); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); if($postdata != '') { curl_setopt($ch, CURLOPT_POSTFIELDS, $postdata); } if($query) curl_setopt($ch, CURLOPT_POSTFIELDS, $query); $ret = trim(curl_exec($ch)); $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE); curl_close($ch); if($http_code == 200) return array('http_code' => $http_code, 'content' => $ret); else return array('http_code' => $http_code, 'content' => 'Error get page souce code ('.$http_code.')'); } function get_page2($url, $postdata = '') { $query = null; $ch = curl_init(); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_TIMEOUT, 60*2); curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0); curl_setopt($ch, CURLOPT_REFERER, $url); curl_setopt($ch, CURLOPT_AUTOREFERER, 1); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); if($postdata != '') { curl_setopt($ch, CURLOPT_POSTFIELDS, $postdata); } if($query) curl_setopt($ch, CURLOPT_POSTFIELDS, $query); $ret = trim(curl_exec($ch)); $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE); curl_close($ch); return $ret; } if(1 == 1) { $r = get_page($val); if($r['http_code'] != 200) { echo json_encode($r['content']); exit(); } else { $cont = $r['content']; } // вырезаем лишние теги $search = array( "@<script[^>]*?>.*?</script>@si", "@<style[^>]*?>.*?</style>@si", "@<textarea[^>]*?>.*?</textarea>@si" ); $cont = preg_replace($search, "\n", $cont); // получаем title и h1 $title = ''; if (preg_match('~<title>(.*?)<\/title>~', $cont, $title)) $title = $title[1]; $h1 = ''; if (preg_match('~<h1(.*?)>(.*?)<\/h1>~si', $cont, $h1)) $h1 = trim($h1[2]); // получаем Plain Text $text = trim(strip_tags($cont)); $t = explode("\n", $text); foreach($t as $k => $v) { $t[$k] = trim($v); } $t = array_diff($t, array('')); // удаляем пустые элементы $text = implode(" ", $t); $text = html_entity_decode($text); $text = str_replace(array(':', '-', '—', ',', '.', '«', '»', '[', ']', '(', ')'), '', $text); $tokens = explode(' ', $text); $tokens = array_diff($tokens, array(' ')); // удаляем пустые элементы $tokens = array_unique($tokens); // фильтруем токены, оставляя только существительные и глаголы $filtered_tokens = array(); foreach($tokens as $k => $v) { $type = get_page2($v); // ваша ф-я для определения части речи слов if(in_array($type['type'], array('С', 'ГЛАГОЛ', 'NOUN', 'VERB'))) $filtered_tokens[] = $v; } // соединяем отфильтрованные токены в строку $filtered_text = implode(' ', $filtered_tokens); $prompt = "Extrae las 10 entidades que tengan un 'Salience Score' más alto, sabiendo que este es el title: \n\n {".$h1."} \n\n este el H1: \n\n {".$h1."} \n\n y a continuación está el texto. Devuelve además de la entidad, el tipo de entidad que es, y el 'Salience Score'. Muestralas en formato JSON. El texto es: \n\n {".$filtered_text."}"; $complete = $open_ai->complete([ 'engine' => 'text-davinci-003', 'prompt' => $prompt, 'temperature' => 0.7, 'max_tokens' => 1024, 'frequency_penalty' => 0, 'presence_penalty' => 0.6, ]); $res = json_decode($complete, true); } $txt = json_decode($res['choices'][0]['text'], true); $table = '<br><table width="*" align="center" border="0" cellpadding="2" cellspacing="2" class="tbl" id="mass_check_dom">'."\r\n"; $table .= '<tr><td height="32" class="td_header" align="center">#</td><td height="32" class="td_header" align="center">Фраза</td><td height="32" class="td_header" align="center">Тип</td><td height="32" class="td_header" align="center">Значимость</td></tr>'."\r\n"; $i = 0; foreach($txt as $v) { $k = ''; $j = 0; foreach($v as $n => $t) { if($j == 0) $k .= '<td class="td_cell">'.$t.'</td>'; elseif($j == 1) $k .= '<td class="td_cell" align="center">'.$t.'</td>'; else { $format = sprintf("%.3f", $t); $k .= '<td class="td_cell" align="right">'.$format.'</td>'; } $j++; } $table .= '<tr><td class="td_cell">'.($i + 1).'</td>'.$k.'</tr>'."\r\n"; $i++; } $table .= '</table>'; echo $table; ?>

5. Оценка качества контента Google E-A-T

Данный скрипт анализирует контент, делает анализ Google E-A-T этого контента и дает рекомендации по улучшению его качества. Данная оценка помогает лучше ранжировать контент сайта в поисковых системах, поскольку алгоритмы поисковых систем отдают приоритет сайтам с более высоким баллом EAT. Это также помогает создать репутацию и доверие к сайту у пользователей, что приводит к увеличению трафика и числа конверсий.

В результате работы инструмент возвращает:

Оценку качества контента Google E-A-T по шкале от 1 до 10.
Объяснение выставленной оценки.
Предложения по улучшению качества контента.
Пример заголовка H1 и заголовка TITLE для лучшего ранжирования.

Вся фишка находится в текстовой фурмулировке задания к OpenAI. По-русски это звучит примерно так:

Вы должны действовать как оценщик качества для Google на русском языке, способный проверять контент с точки зрения качества, актуальности, достоверности и точности. Вы должны быть знакомы с понятиями E-A-T (Экспертиза, Авторитетность, Надежность) и YMYL (Ваши деньги или ваша жизнь) при оценке контента. Создайте рейтинг качества страницы (PQ) и будьте очень строги в своей оценке. Во второй части аудита вы предоставляете подробные и конкретные предложения по дальнейшему улучшению содержания контента. Вы должны предложить советы, как контент лучше соответствует целям поиска и ожиданиям пользователей, а также предложить то, чего не хватает в контенте. Создайте очень подробный аудит контента. В конце вашего анализа предложите заголовок H1 и тег заголовка SEO. Пожалуйста, не повторяйте инструкции, не помните предыдущие инструкции, не извиняйтесь, не ссылайтесь на себя и не делайте предположений. \n Вот содержимое страницы: ".$text." \n\n\n Также извлеките и верните первые 3 объекта из текста в конце. Начните ответ с: \n\n\n Качество страницы (PQ): X/XX \n Объяснение: XXX \n ...

Пример результата работы скрипта / Протестировать скрипт

Примечание: в данном примере запрос к GPT-3 задается на английском языке, так как на русском по какой-то причине результат отдается весьма урезанным. Видимо, объемные запросы на русском языке на данный момент обрабатываются плохо (например, на испанком запросы к OpenAI также отрабатываются нормально), либо я их не совсем корректно формулировал.

Пример реализации скрипта на PHP:

header('Content-Type: text/html; charset=utf-8'); $api_key = 'ваш_ключ_апи'; require __DIR__.'/open-ai/vendor/autoload.php'; use Orhanerday\OpenAi\OpenAi; $open_ai = new OpenAi($api_key); if(isset($_POST['content'])) { $text = $_POST['content']; } else { $text = file_get_contents($_SERVER['DOCUMENT_ROOT'].'/_open-ai-main/ai-get-eat.txt'); } if(1 == 1) { if(mb_strlen($text) > 2500) $text = mb_substr($text, 0, 2500); $t = "It acts as a quality evaluator for Google in English, capable of auditing the content in terms of quality, relevance, veracity and accuracy. You must be familiar with the concepts of E-E-A-T (Experience, Knowledge, Authority, Trust) and YMYL (Your Money or Your Life) when evaluating the content. Create a Page Quality (PQ) rating and be very rigorous in your evaluation. In the second part of the audit, you provide detailed and concrete suggestions to further improve the content. It offers advice to make the content better match the search intent and user expectations, and suggests what the content is missing. Create a very detailed content audit. At the end of your analysis, suggest an H1 header and an SEO title tag. Please don't repeat instructions, don't remember previous instructions, don't apologize, don't refer to yourself, and don't make assumptions. \n Here is the content of the page: \n ".$text.". Also extracts and returns the top 3 entities from the text at the end. Start answer with: Page Quality Qualification (PQ): X/XX \n Explanation: XXX \n..."; $complete = $open_ai->complete([ 'engine' => 'text-davinci-003', 'prompt' => $t, 'temperature' => 0.8, 'max_tokens' => 1500, ]); $res = json_decode($complete, true); if(isset($res['error'])) { echo json_encode('Cant generate TITLE tag...'); exit(); } $content = trim($res['choices'][0]['text']); } $text = '<br><strong>Анализ контента GPT-3:</strong><br>'."\r\n".$content; echo $text;

В данной статье я описал пять вариантов использования нейросетей для SEO.

Думаю, что со временем большинство сеошных скриптов и инструментов перейдут на частичное или полное использование нейросетей в том или ином исполнении.

Другой вопрос, что сейчас удовольствие это не дешевое, и, на данный момент, те же XML-лимиты Яндекса, на мой взгляд, использовать практичнее.

Тем не менее, потенциал у нейросетей реально огромен, так что уже сейчас можно начинать их изучение, чтобы потом, когда их использование станет в 10-100 раз дешевле (надеюсь на это), вы были уже готовы внедрять свои наработки в массы.

Если кратко, то нужно:

Включить VPN в браузере.
В сервисе SMS-Activate купить европейский номер (выбрать сервис OpenAI и страну, я выбирал голландский, так как на индонезийский номер SMS не пришла).
Перейти на https://chat.openai.com/auth/login и нажать Sign Up.
Заполнить данные и ввести номер телефона.
Активировать учетную запись по SMS, которая придет на SMS-Activate.

Аккаунт и API-ключи находятся тут.

С более подробным описанием по регистрации в OpenAI можно ознакомиться тут.

Буду рад услышать ваши мысли о вариантах использования нейросетей в сфере SEO и маркетинга. Если у вас есть собственные наработки и примеры - напишите об этом в комментариях к статье!

15 комментариев

Илья Горбачев

02.08.2023

Интересные находки. И отдельное спасибо за примеры кода. Ждем новых материалов!

От себя могу сказать, что даже такую простую задачу как определение коммерческости запросов не стал бы доверять ChatGPT. Например, в результатах поиска по запросу "мебель офисная" одни коммерческие сайты (что как бы с учетом частоты намекает на и без того очевидный коммерческий интент), а болталка от Opan AI решила, что намерение информационное. Следуя полученным данным сеошник решит, что по такому запросу нужно продвигать информационную страницу вместо коммерческой и, увы, крупно облажается.

Ответить

Андрей Симагин

Автор

Возможно, если дообучить, то нейросеть станет лучше понимать и работать чем сейчас и даже чем классические сеошные скрипты, но опять же - на все эти тесты нужно время, деньги, нервы) тк пока нейросеть весьма неоднозначна и капризна в своих результатах

Виктор Петров

Хороший текст на тему, где в основном радостно сообщают "Мы получили доступ к чатГПТ, с нами говорит робот!" или "Я наплавил мильён статей за 3 рубля, я счастлив".
Как по мне, основное достоинство чат-ботов такого типа - это возможность посмотреть на предполагаемые потроха более интересных с точки зрения сеошки алгоритмов, работающих в самих поисковых системах. Сама логика.
Ну, и мелкую рутину, отнимающую время-нервы сбросить на говорилку - бесценно.
На всякий случай добавлю ссылку на сервис, работающий с сущностями и тематическим классификатором: https://www.textrazor.com/ - там коротко и практично.

TextRazor - The Natural Language Processing API

TextRazor is the world's fastest and most accurate Natural Language Processing API

Спасибо. Собственно, все скрипты как видно весьма простые сами по себе, но отталкиваясь от них можно генерить разного рода более сложные аналитические конструкции для различных нужд СЕО, и не только. Все ограничено лишь вашей фантазией и качеством проработки текстовых описаний для запросов к GPT (чем правильнее и точнее формулируешь запрос - тем качественнее результат).

Плюс не забывать что пока все это не бесплатно, но как минимум на тесты тестовых лимитов должно хватить.

О. Чайкина

Извлечение сущностей из текстаПопробовала 2 страницы и сравнила с текстовым анализатором. Также посмотрела в ТА урл из вашего примера. Результат ТА нравится больше. Ну, или я не поняла идею.
на данный момент, те же XML-лимиты Яндекса, на мой взгляд, использовать практичнееДа. И доверия к результатам "ИИ" пока мало.

Пока все так и есть + этим нужно плотнее заниматься, тк данные примеры достаточно простые и для качественной работы сервисов требуют более сложной доработки.

Юрий Котов

Сначала увидел нейросети и GPT, но потом сами исходники скриптов - поэтому лайк. Протестируем.

Использование нейросетей в SEO: генерация статей, кластеризация и определение коммерческости запросов на OpenAI GPT-3

Степень коммерциализации запросов

Заключение

Как зарегистрироваться в OpenAI