Александр Крыжановский

Краулинг сайта в Screaming Frog SEO Spider и последующий экспорт файла sitemap.xml на его основе

На самом деле ответ на вопрос живо ли SEO нам дает Wordstat, показывая поисковый спрос, который существует и только растет по огромному количеству коммерческих запросов, включая те, по где в выдаче присутствуют маркетплейсы. Органический трафик сайтов, конкурирующих с ними, можно оценить, используя такие инструменты как Similarweb, Мегаиндекс и другие инструменты. Трафик есть и он высокий. То есть маркетплейсы явно не забирают 100% трафика из выдачи.

Далее, касаемо самих маркетплейсов. Там тоже высокая конкуренция в тех же нишах (обычно), что и в органике. Да, в поиске есть сегменты, полностью забитые гигантами и маркетплейсами, но есть и те, где их нет. Если клиент продаёт смартфоны или ширпотреб, то смысла лезть в органику скорее всего нет. Но в сферах, где пользователям требуется, например, сложный товар или продукт, требующий установки и т.п., то с большей вероятностью он будет приобретен не на маркетплейсе. Причем скорее всего даже в случае если там он стоит дешевле. Причины от необходимости выезда специалиста, получения консультаций и какой-то поддержки в будущем и заканчивая потенциальной поотерей гарантии при установке сторонними организациями.

Что касается предложений «seo за 5000 руб.» - помимо студий такие всегда были на фрилансе и качество услуг там ниже плинтуса. Обычно это автоматические аудиты через онлайн сервис, генерация sitemap лягушкой, добавление базовых директив в robots.txt и бесконечное переписывание title. Это не SEO.

Нормальное SEO стоит денег, но за него готовы платить далеко не все. Многие вообще не понимают за что они будут платить и, более того, в принципе не могут выбрать подрядчика как из-за недостатка знаний, так и из-за непонимания ценообразования. При этом неправильный выбор подрядчика, когда все ставки делаются только на SEO, потенциально может вообще похоронить клиентский бизнес, а в худшем случае вообще загнать владельца в долги. Также нет понимания причин, по которым надо что-то менять на сайте и в бизнес процессах. И даже выбрав действительно хорошего спеца или компанию, которые реально будут заниматься проектом, все равно всегда сохраняется риск того, что он не существенно не дойдет до целевых показателей.

Теперь о SEO специалистах. Порог входа в SEO крайне низкий, что приводит к высокой конкуренции и демпингу. Демпинг чаще всего можно заметить на фриланс биржах. Работы за озывы, продажа под видом SEO услуг по генерации карт сайтов и так далее. Пример из вашей статьи хорошо иллюстрирует то, что компаниям требуются даже на указанный оклад хоть какие-то адекватные компетенции от специалиста.

Среди сеошников много людей, кто не думает о затратах клиента на те правки, которые они требуют. То есть не оценивается соотношение затраты-потенциальный эффект от внедрения. Это включает в себя изменения изначально адекватного дизайна, отдельные элементы которого не понравились спецу (здесь речь про вкусовщину, а не про явно вопиющие случаи), переезды с одной CMS на другую, вылизывание результатов Page Speed тестов до 100 очков на сайтах с контентом с большой буквы «Г» и трату бюджетов на всевозможные хитрые перелинковки и ловцы ботов на проектах из 10 страниц.

Мое мнение в том, что SEO – это аналитическая работа, консалтинг и менеджмент проектов в одном лице. Это та отрасль, в которой надо уметь анализировать, оценивать риски, контролировать качество, понимать в автоматизации (на больших проектах), вникать в маркетинг и ценности для бизнеса клиента и при этом уметь взаимодействовать с другими подрядчиками (копирайтеры, программисты, дизайнеры). Как и везде есть ценовая сегментация. Нижний ценовой сегмент находится неадекватно низко, но посмотрите на верхний, посмотрите на уровень тех, кто там работает. Чтобы далеко за примером не ходить, посмотрите здесь на vc.ru статьи от топовых авторов по сеошной тематике, там даже уровень мышления другой – другими категориями мыслят. А те, кто работает за еду вряд ли задержатся в профессии.

"Основа – это сильный бизнес, с хорошим LTV клиента, конкурентным предложением и качественным сервисом." - золотые слова!

Ключевой момент в том, что все эти конфиги именно помогут сделать доступным. Если вы переведете контент, настроите hreflang и другие параметры, то это не гарантирует ранжирование в каждой отдельно взятой стране или на каждом языке, для которых на сайте есть контент. Более того, при наличии конкуренции нужна комплексная работа по продвижению включая on-page оптимизацию и работу со ссылочным для каждой версии (есть исключения). То есть вот все эти рекомендации – это необходимый конфиг, который не является “серебряной пулей” для получения топов.

Что вы могли бы порекомендовать, чтобы отделить брендовый органический трафик при анализе своего сайта и конкурентов? Особенно из Google

Чисто теоретический вопрос:
Вы сами пробовали проверить уникальность текста сгенерированного нейросетью (ChatGPT и другими)? Оценивали количество заимствований?

По моему опыту AI вставляет неуникальный текст целыми абзацами. Проверку уникальности осуществляет по своему "наитию" и как итог получаем кучу заимствованных предложений а то и абзацев целиком.

Не только Яша сфокусирован на деньгах. Рекомендую прочитать https://www.wheresyoured.at/the-men-who-killed-google/ Если коротко, то в Google тоже стоит прибыль от рекламы как основной KPI из-за чего страдает качество органической выдачи.

Случай, который происходит постоянно. Приходит заказчик и говорит, что они начинают создавать/переделывать сайт и потребуется SEO. Объясняем, что хорошо бы до того, как что-то реализовали, провести аналитику (структура, конкуренты, базовые требования к шаблонам, рендеринг и т.п.). Далее, помимо очевидно позитивного, есть 3 негативных варианта развития событий:
1. Заказчик отмалчивается до того момента пока не будет доделан новый сайт.
2. Отвечает, что дизайнер уже сделал макеты, они уже утверждены. То есть уже поздно что-то менять (почему на готовом сайте менять ок – не известно).
3. Говорит, что сроки сдачи проекта были позавчера, поэтому сейчас менять что-либо не готовы, т.к. сроки.
Итог:
На этапе разработки не было бы необходимости что-то переделывать;
На готовом сайте – дополнительный бюджет, время + потеря или недополучение потенциального трафика.

“Продвижение в поисковых системах без оптимизации занимает большой промежуток времени и часто растягивается на годы…” – По опыту работы скажу, что без SEO аналитики, без проработки контента и технички, создания структуры и работы над закрытием интентов запросов на посадочных страницах продвижение не растягивается на годы, а часто вообще оказывается невозможным из-за наличия комплекса проблем. Либо сайт обладает видимостью по какому-то узкому набору разделов/категорий, но при этом не ранжируется по другим. Поэтому SEO в идеале нужно начинать заниматься на нулевом этапе, когда только создается ТЗ на разработку сайта.

Еще от себя добавлю, что есть такая вещь, как многоканальные последовательности. Очень грубо говоря, чем больше мест присутствия ЦА охватывается, тем выше конверсия. Связано это с тем, что во ряде случаев (не во всех) люди не принимаю решение мгновенно. Требуется сделать несколько «касаний» и часто через разные источники трафика: SEO, SMM, ретаргетинг, отзывы, контент маркетинг, медийка. Исключая или добавляя SEO в этот список – снижаем или, соответственно повышаем итоговый CR.

Сергей, спасибо!
Подскажите, каким образом обычно определяется средняя стоимость ссылки/гест-поста в тематике? Связываетесь напрямую с вебмастерами/владельцами площадок и запрашиваете стоимость или используете иной метод?

По первому пункту, думаю, будет опять замах на рубль, а удар на копейку.
Грозные утверждения по поводу того, что будет наказываться даже сочетание генережки и ручного труда, на мой взгляд, является вообще сомнительным утверждением со стороны Гугла. Что считать такой комбинацией? Если AI набросал структуру контента, а человек написал, то это тоже попадает под их критерии спама? Думаю нет. Если был сгенерирован текст и основательно дописан/переработан – скорее всего тоже нет.

Вообще интересует алгоритмическая реализация такого процесса, поскольку он должен быть не только эффективным, но и не сильно ресурсозатратным. Вероятно будет что-то типа дообученного BERT на генеренных текстах. Если так, то с точки зрения ресурсов будет иметь смысл использовать его, условно, в рамках топ 10–30 как надстройку для уточнения весов уже первично отранжированных результатах. Опять же, слабо представляется датасет, который мог использоваться для обучения модели с целью детектирования текстов, созданных по гибридному методу (человек+AI) с существенной переработкой текста.

Когда-то понял одну простую вещь: если в техническом аудите не указаны конкретные причины и источники появления (страницы, скрипты, urlы, фрагменты текста и кода) тех или иных проблем и пути их исправления, то ценность такого аудита для клиента околонулевая. Причем рекомендации должны быть не вида «не работает – сделайте чтобы работало», а с конкретизацией: где именно, что именно и как именно должно быть сделано.
Пришел для себя к формату «аудит и рекомендации – обсуждение с клиентом и разработчиками – ТЗ с приоритетами».

P.S.: согласен с комментатором выше. Статья про SEO аудиты от ChatGPT – ну совсем такое себе …

Про коммерческие факторы я бы добавил, что надо понимать, находятся ли сайты конкурентов в топ благодаря элементам, влияющим на КФ или нет. Или же они внедрили данные элементы вообще после достижения топа. Проще всего воспользоваться методом пересечений, т.е. составить матрицу (таблицу) КФ для КАЖДОГО типа страниц каждого конкурента и найти те, которые есть у всех или у большинства конкурентов. Иногда имеет смысл выйти за пределы топ 10 - топ 20 и посмотреть как обстоят дела там. Часто после такой аналитики картина по КФ становится более четкой.

Кроме этого, для корректного определения конкурентов хорошо бы в начале подготовить семантику по которой их планируется определить: выкинуть информационку, для интернет магазинов сегментировать её по разделам/карточкам товаров и уже в таких срезах искать сайты, с которыми мы будем сравнивать продвигаемый.

Более того, надо всегда держать в уме то, что мы работаем с системой, которая обучена на определенной выборке данных. Определение наличия тех или иных КФ осуществляется по сути алгоритмически, даже если в основе алгоритма лежит машинное обучение или AI. Модель обучена на выборке данных и, значит, внедряемые элементы должны быть доступны для успешного алгоритмического определения их наличия. То есть также надо смотреть и вносить в будущее ТЗ то, как они реализованы в коде (ссылка, input и т.п.), а также их названия (например, тексты, alt и т.п.) , характерные как для тематики так и для Рунета в целом.

Кроме этого, существуют критически важные КФ без которых вообще можно забыть про ранжирование запросов с коммерческим интентом.

Ну и важно учитывать, что для клиентов каждое изменение дизайна на основе наших сеошных ТЗ, вёрстка, программирование – это всегда деньги. Для многих это существенные деньги (не берем в расчет вещи типа онлайн-консультанта, вставляемые сторонним скриптом в шаблон в пару кликов). Поэтому надо одновременно решить 2 задачи: внедрить функционал необходимый после анализа сложившейся на данный момент выдачи за одну итерацию дизайна и при этом внедрить именно необходимый функционал, отказавшись от того, который приведет к ненужным расходам.

Точно не стоило. Скорее был "спортивный" интерес :)

Да, однако данный проект был в первую очередь экспериментом, целью которого было получение представления о возможностях создания кода от Chat GPT с нуля. Эксперимент было решено продолжить на этапе, когда скрипт смог находить точные вхождения и размечать их ссылками в тексте, что заняло на более 2-3 часов, а основное время ушло на псевдо индексацию, лемматизацию, учет пунктуации, игнорирование имеющихся в тексте ссылок и HTML разметки и т.п. Больше скажу: клиенту не выставляли счет за полный объем часов (потому что эта разработка и полученный результат столько не стоит) и, можно сказать, сделали просто инструмент для своих задач.

Link Whisper – отличное решение, однако он поддерживает WP и Shopify. Проект, для которого создавался скрипт - интернет-магазин одежды и использует фреймворк. Кроме этого, Link Whisper, на сколько мне известно (могу ошибаться, дайте знать, если это не так), находит точные вхождения ключевых слов. Если это так, то он не найдет, например, ключевую фразу “red dress” (единственное число) тексте, если в тексте присутствует только “red dresses” (множественное число). Это было основной причиной того, почему пришлось заморачиваться с лемматизацией и текста и анкоров.

Эта ошибка свидетельствует о том, что вы используете бесплатный API с лимитами, установленными на количество запросов в минуту (20 запросов). Ошибка исчезнет если подключить Payment method в OpenAI

Добрый день! У вас либо не установлен плагин https://gptforwork.com/, либо он не включен. Возможно не указан API ключ

У вас очень интересная продуктивность создания комментариев: 50 000 символов за последний час, если исключить заголовки и т.п., предположим, что будет 25 000 символов. И во всех прослеживается похожий паттерн. Если не секрет, скажите каким образом создавали промты (можно в личку). Объемы текстов многих статей на VC, которые вы прокомментировали, превышают лимиты в ChatGPT.

До 20 запросов к API в минуту - бесплатно. Если больше, то - да, доступ платный, но цена адекватная. Подписки на API как таковой нет, оплачивается расход токенов постфактум.

До 20 запросов к API в минуту - бесплатно. Если больше, то - да, доступ платный, но цена адекватная. Подписки на API как таковой нет, оплачивается расход токенов постфактум.

Святослав, приветствую!
Благодарю за уточнения, однако, что касается промтов на английском (делали под бурж, магазин одежды, около 15 000 страниц), я также получал в некоторых случаях (грубая оценка от 2% до 5%) нечто вроде: "Meta Description text: " с самим текстом, следующим после такого анонса. Аналогично было для некоторых Title и H1 (H1: текст или <H1>Текст</H1>). Возможно проблема характерна для некоторых тематик и вызвана особенностями процесса обучения модели. Тем не менее, вы правы, как было сказано в статье, это лечится исправлениями promt, а также проверкой сгененированного контента по списку.
Вариант "промт английском - результат на русском" не проверял, воспользуюсь рекомендацией :)

При работе с большими ядрами, для генерации под большое количество страниц отпадает необходимость прорабатывать словоформы и последовательность слов для того, чтобы текст описаний выглядел естественным. Это особенно актуально при работе с большим количеством разноплановых категорий, относящихся к разным разделам и т.п. То есть один раз составив корректное задание для GPT мы можем “не беспокоиться” о том, что часть сгенерированных результатов буде содержать “кривые” с точки зрения русского (и любого другого поддерживаемого) языка фразы. Кроме этого, отпадает необходимость ручной проработки, например Title для включения туда слов из запросов и т.п.
Метод не лишен недостатков и экономит время на больших объемах при массовой оптимизации, когда речь идет о сотнях или тысячах страниц.
Добавлю, что в статье показан сам принцип, проиллюстрированный генерацией на основе семантики, но есть задачи, на которых можно сэкономить еще больше времени.
Например, создание описаний на основе параметров товаров и поисковых запросов, мэппинг данных, создание списков ключевых моментов, которые необходимо раскрыть в контенте на основе запросов для страницы, масоовое автоматическое создание структуры текстов для информационных страниц на основе ранее спаршенного контента (или заголовков) от конкурентов и т.п.

SEO это история про стратегию, работу в долгую: проводим аналитику, берем лучшие решения конкурентов, улучшаем, развиваем сайт и т.п. Зачем, заранее зная, что, если в нише есть хоть какая-то конкуренция делать сайт на Тильде? Взять готовый шаблон на WP - эффективнее будет.
Про интернет-магазины вообще молчу. Ни о какой нормальной фильтрации речи идти не может. HTML код замусорен. Никакой автоматизации и т.п. Предлагаю желающим посчитать экономику ручного заполнения meta полей для 500 страниц.
Есть сегменты, где Тильда применима и, в первую очередь, это те бизнесы, которым нужен быстрый старт за счет любых видов рекламы, кроме органического поиска.

Зачем рекомендовать платформу с кучей ограничений для сегментов, где для продвижения семантического кластера с большой вероятностью потребуется переезд на другую платформу. Кстати, почему-то никто не учитывает, что переезд тоже не бесплатный и, в случае с многостраничным сайтом, весьма "забавный".
На мой взгляд история с Тильдой исключительно для лэндингов, и, может быть, сайтов услуг и блогов. И только в низко конкурентных тематиках.