Programmatic SEO: Руководство по продвижению крупных многостраничных сайтов и агрегаторов

Сегодня разберём подход к созданию коммерческих SEO-проектов на 10,000+ страниц с помощью программной автоматизации. Подход уже успешно применяют SaaS проекты, B2B-компании и консалтинг, которые собирают ощутимый целевой трафик в нише.

За рубежом методологию создания и SEO-продвижения сайтов агрегаторов, крупных каталогов и проектов с большим числом страниц со схожей структурой называют Programmatic SEO. Данное руководство — хорошая основа для наращивания новых разделов сайта с большим количеством страниц с целью получения целевого трафика (особенно для текущих успешных в SEO сайтов).

Вы читаете перевод серии статей от команды UntalkedSEO – узкоспециализированной команды по разработке Programmatic SEO проектов. Над переводом и авторскими заметками работал: Роман Макаров, Head of Organic Growth (SEO) в HighTime.agency – продвигаем SaaS-проекты в России и за рубежом (US, Fr, De, Латам и APAC).

Руководство я снабдил подробными комментариями из нашей практики в Programmatic SEO, чтобы даже продвинутые SEO-специалисты со схожими задачами смогли почерпнуть несколько идей для развития своих проектов. Если в некоторых местах информация покажется вам очевидной, можете изучать только примеры (обычно находятся рядом с изображениями) и наши врезки.

Структура гайда:

Глава 1. Основы Programmatic SEO

Глава 2. Как собирать семантическое ядро для Programmatic SEO проектов

Глава 3. Как составить шаблон страницы для pSEO-проектов

Глава 4. Как собрать данные для Programmatic SEO

Глава 5. Programmatic SEO на реальных проектах: 7+ жизненных примеров

Вывод и рекомендация

Programmatic SEO как метод создания и продвижения проектов существует давно. Крупные компании первыми подхватили этот метод, чтобы привлекать миллионную аудиторию из Google.

Почему же тогда этот метод с опаской применяют SEO-специалисты на фрилансе и так редко используют небольшие SEO-агентства, а также в основном подобные проекты реализуют внутри продуктовых команд? Мне кажется, что причин несколько…

• Насмотренность. Команды провели недостаточно экспериментов, чтобы понять, что работает, а что нет в Google/Yandex;
• Риск санкций ПС. Создание/добавление на сайт автоматически созданных 10,000+ страниц — это большой риск получить пессимизацию и санкции со стороны поисковых систем;
• Команда разработчиков. Programmatic-проекты требуют вовлечения технических специалистов и больше усилий по разработке;
• Поиск идей. А кто-то просто даже не представлял, что такие проекты возможно делать в их нише.

В общем, всё больше и больше SEO-специалистов экспериментируют с Programmatic SEO.

Давайте представим, что нужно создать страницы типа “Услуги по грузоперевозкам в <название города>” сразу для всех городов вашей страны и ранжироваться по соответствующим ключам во всех этих городах?

Конечно, мы можем создать сотни страниц вручную, но это займёт очень много времени.

Здесь как раз и полезен метод Programmatic SEO – с ним можно реализовать задумку в приемлемые сроки с помощью создания сотен или даже тысяч SEO-оптимизированных страниц за счёт автоматизации.

Что такое Programmatic SEO?

Programmatic SEO — это стратегия поискового маркетинга, в основе которой лежит генерация сотен/тысяч SEO-оптимизированных посадочных страниц с целью получения трафика по низкочастотным запросам. Каждая посадочная страница фокусируется на целевых long-tail запросах (long-tail запросы — это запросы из нескольких слов, они обладают невысокой частотностью и чётко выражают намерения пользователя).

Сейчас это очень популярный способ получения трафика, и все больше компаний применяют его на практике.

Итак, у Programmatic SEO проектов есть ряд существенных преимуществ, давайте разберем их все.

1. Легко масштабируется

Метод Programmatic SEO хорош, когда требуется быстро создать 1,000 и даже 10,000 SEO-оптимизированных страниц на основе собранной семантики. Также метод идеален, когда дизайн страниц должен быть одинаковым, а различия будут только в содержании, т.е вовсе нет смысла добавлять контент на эти страницы по очереди и выпускать их друг за другом. К тому же это еще и долго.

Когда вы поднимаете проект по принципам Programmatic SEO, главным становится анализ (предподготовка на старте проекта) и выбор решения по созданию контента для наполнения страниц.

Если вычесть из работы по созданию страниц на сайте Zapier фазу анализа (предподготовка на старте проекта), то на запуск всех этих страниц у них ушло не больше нескольких часов.

Представьте, сколько бы времени ушло на создание этих страниц классическим методом.

2. Лучший пользовательский опыт

Обычно programmatic SEO проекты нацелены на long-tail запросы. Они состоят из нескольких ключевых слов, обладают невысокой частотностью и четко выражают интент пользователя, в Рунете такие запросы называют НК НЧ – низкочастотные низкоконкурентные запросы.

Такие запросы привлекают посетителей с высокой вероятностью совершения целевого действия, поэтому и страницы под них требуются с очень четким CTA (призывом к действию).

Это позволяет добиться высокого коэффициента конверсии, чем на обычных страницах, с которой еще нужно сделать один или два перехода, чтобы попасть на «ту самую» страницу, где находится то, что требовалось.

На примере Canva: я набрал в Google «дизайн постов в Instagram», и первый результат пришел от Canva. Нажав на ссылку, я перехожу на страницу, где могу просто выбрать понравившийся шаблон и приступить к редактированию.

Ребята в Canva постарались и сделали все эти посадочные страницы под узкие сегменты.

3. Страницы хорошо ранжируются по ключевым словам

Чем больше на вашем сайте качественных SEO-оптимизированных страниц, тем выше шансы на появление проекта в SERP по соответствующим ключевым словам.

Programmatic SEO — это путь создания SEO-оптимизированных страниц, с целью охвата long-tail запросов, чтобы помочь пользователям решить максимально конкретную задачу. Все это делает жизнь пользователей проще. Если страницу любят пользователи, ее полюбят и поисковые системы.

Даже если эти ключевые слова обладают очень низкой частотностью, по ним сравнительно легче получать ТОП, а еще они приводят пользователей, с большей вероятностью совершить сделку.

4. Меньше рутины, больше аналитики и стратегии → выше результат

Давайте поразмыслим логически!

Когда вся информация для создания страниц собрана и упорядочена, на создание 50 страниц обычным способом уйдет 1-2 дня. Даже если это будет просто перенос текстов из Google Docs и вёрстка их в WordPress.

А если все данные уже готовы, то с помощью автоматизации вы сможете создать 1000 страниц всего за час или даже меньше.

Все это сэкономит ваше время и энергию.

5. Больше лидов

Страницы, созданные программным способом, собирают больше лидов по следующим двум причинам:

• Так как больше страниц появляется в выдаче, больше людей приходят на сайт
• Так как страницы заточены под узкоцелевые запросы, потенциальные пользователи с большей вероятностью оставят заявку.

В итоге вы получаете больше потенциальных клиентов, чем ожидали.

А если мы расширим наши представления, то это в итоге принесет вам больше клиентов.

Когда следует внедрять Programmatic SEO на сайте

Когда у вас одна из следующих ситуаций:

• Вы создаете агрегатор или маркетплейс
• Вам необходимо охватить тысячи ключевых слов с похожей семантической структурой
• Дизайн всех страниц должен быть одинаковым
• Вам нужно создавать страницы в похожем стиле в большом количестве
• Вы нацеливаетесь на низкочастотные ключевые слова в большом количестве (от 500+ ключей)

Чтобы лучше понять это, давайте рассмотрим пример. Допустим, вы руководите транспортной компанией, которая предоставляет услуги по грузоперевозкам во всех городах США. И вы хотите, чтобы вас находил тот, кто ищет услуги по отправке грузов в Нью-Йорке, Чикаго, Бостон и или любом другом городе.

Ситуация в том, что в США более 10,000 городов. Очевидно, что вручную создать такое количество страниц невозможно. Но с Programmatic SEO это возможно!

Для этого вам нужно подготовить список значений всех переменных (variables) для города, таких как название города, изображение города, местоположение городского офиса, контактный номер и т. д. Затем разработайте шаблон страницы и выведите данные из проверенной и утверждённой базы данных.

Сбор семантического ядра дает вам ценные сведения о потребностях клиентов и их интересах. Задача похожа на онлайн-исследование рынка, так как помогает понять, что ищут ваши потенциальные клиенты.

В этой статье мы рассмотрим несколько подходов к сбору семантического ядра для проектов с Programmatic SEO.

Сбор семантического ядра

Создание семантического ядра — это процесс поиска фраз, которые вводят в поисковых системах ваши потенциальные клиенты, когда ищут что-либо в сети. Идеальное ключевое слово для pSEO — низкочастотный запрос с низкой конкуренцией (long-tail keyword with low competition).

Сбор семантического ядра помогает понять поведение клиентов, тенденции в рынке и преобладающий спрос — все это ценные сведения, которые пригодятся в улучшении видимости сайта для целевой аудитории проекта. Ключевые слова играют также важную роль в формировании контент-стратегии и помогают составить план действий по привлечению пользователей с помощью статей в блоге.

Как выглядят ключевые слова в programmatic SEO?

Корневые ключевые слова (head keyword) — это высококонкурентные запросы, с большим спросом (частотностью). Как правило, они состоят из 2-5 слов, и по ним сложно ранжироваться (и тогда на помощь приходят модификаторы).

Обратите внимание, что иногда ключевые слова сами по себе не имеют никакого смысла, пока вы не объедините их с модификаторами. Далее мы это еще разберем.

Модификаторы — это фразы, которые вы можете добавить к корневым словам, чтобы сделать их LT-запросами и повысить вероятность ранжирования по ним.

Модификаторами могут быть: местоположение, цвет, цена, продукты питания или буквально все, что можно присоединить к ключевым словам и создать комбинации, которые ищут в поисковиках люди.

Как правило, в ключевом слове pSEO может быть один, два или даже три модификатора.

Теперь давайте рассмотрим несколько примеров:

Пример №1: может ли {рыба 1} уживаться с {рыбой 2} | can {fish 1} live with {fish 2}

В приведенном выше примере трудно сказать, каким будет "главное ключевое слово", но все ключевое слово имеет смысл. Модификаторами здесь могут быть названия рыб, такие как рыба-клоун, гуппи, данио и т. д.

И комбинации будут такими:

• Может ли рыба-клоун уживаться с гуппи?
• Может ли рыба-клоун уживаться с данио?
• Может ли данио уживаться с гуппи?

Пример №2: шаблоны резюме для {должность} | resume templates for {job role}

В этом примере главный термин "шаблоны резюме", а модификаторами могут быть менеджеры по продукту, системные инженеры, тестировщики программного обеспечения и т. д.

И комбинации будут такими:

• Шаблоны резюме для менеджеров по продукту
• Шаблоны резюме для системных инженеров
• Шаблоны резюме для тестировщиков программного обеспечения

Улавливаете идею?

Я стараюсь сначала собрать корневые ключевые слова (head keyword), а за модификаторы берусь позже. Обычно, собирая семантическое ядро, я подмечаю несколько ключевых слов, которые попадаются мне на глаза, а затем уже оцениваю каждое из них и подбираю модификаторы после завершения работы.

Различные способы поиска ключевых слов для программного SEO

Теперь, когда вы понимаете, что такое подходящие для pSEO ключевые слова и как они выглядят, пора разобраться, как найти эти ключевые слова.

По сути, ваша цель — найти ключевые слова, в которых вы можете либо заменить некоторые слова, либо добавить несколько, чтобы сконструировать новые ключевые слова, которые пригодятся при создании страниц.

1. Мозговой штурм

Мозговой штурм — один из лучших способов найти темы, в которых вы можете создавать страницы с помощью программной автоматизации. Выпишите различные аспекты вашего бизнеса на лист бумаги (или в Notes на компьютере). Затем поразмышляйте и запишите проблемы и узкие места, с которыми сталкиваются ваши потенциальные пользователи.

Ваша цель — обнаружить закономерность в тех фразах, что вы выписали. Попробуйте добавлять различные модификаторы, чтобы найти закономерность, которая может быть полезна для Programmatic SEO.

Например, у всех популярных поставщиков карт, таких как MasterCard и Visa, есть сотни кодов причин возврата денежных средств на расчетный счет (chargeback reason codes), которые часто ищут пользователи. Поэтому эти компании создали отдельные страницы для всех кодов причин и теперь получают тонны трафика на эти страницы.

2. Используйте Google

Google в сборе семантического ядра — это самый недооцененный инструмент (и не важно, идет речь про SEO или Programmatic SEO). На платформе Google есть целый спектр инструментов для поиска ключевых слов, которые вы не найдете (по моему опыту) больше нигде.

Рассмотрим несколько из них.

Поисковые подсказки

Когда вы начинаете писать запрос в поисковую строку Google, система начинает предлагать вам несколько готовых вариантов. И порой в них есть очень интересные фразы.

Здесь вам также может помочь оператор * (звездочка) – просто поставьте * в начале, конце или между словами, и автозаполнение попытается показать вам соответствующие ключи.

Таким образом я могу собирать модификаторы к корневому ключевому слову.

Google Keyword Planner

Возьмите широкую фразу по теме вашего бизнеса, и изучите предложения по ключевым словам от Планировщик ключевых слов Google. Он, кстати, бесплатный.

Например, если у меня бизнес, связанный с фитнесом, и я хочу предложить людям различные варианты низкокалорийной пищи на выбор. Я открываю инструмент и прогоняю через него фразу "низкокалорийные продукты".

Различные комбинации могут быть такими:

• 200-калорийные блюда
• 350 калорийный ужин
• 1200 калорийная порция и т. д.

Google Search Console

Google Search Console тоже хорош, если у вас есть существующий сайт, уже добавленный в Search Console. Изучите ключевые слова, которые получают большое количество показов, и попытайтесь найти закономерность.

Почему бы не расширить его и не создать программные страницы, нацеленные на такие ключевые слова, как:

• b2b buyer persona template
• b2c buyer persona template
• ppt buyer persona template

3. Анализ форумов

Форумы, на которых общаются ваши пользователи, также отличное место для поиска ключевых слов. Посмотрите, что обсуждают пользователи, какую информацию они ищут и с какими проблемами сталкиваются.

Мои любимые форумы: Reddit, Quora и StackOverflow. Но ваша аудитория может быть и на другом форуме.

Вот такие выходят комбинации:

• Облачное хранилище для фотографий
• Облачное хранилище для съемок с дронов
• Облачное хранилище для видео и т. д.

Кстати, оператор "звездочка *" работает и на Reddit, в поисковиках и много где еще.

4. SEO-инструменты для сбора семантики

Semrush и Ahrefs – хорошие варианты для поиска ключевых слов. С помощью них можно изучить ключевые запросы ваших конкурентов.

Например, для платформы по аренде недвижимости для релокантов страницы с информацией о стоимости проживания в городе/районе (cost of living) могут приводить трафик на первый уровень GTM-воронки (Awarness-контент). Подробнее про GTM-воронку и маркетинг IT-компаний читайте в этой статье.

И опять же, оператор * (звездочка) работает и в Semrush, и в Ahrefs.

Если у вас уже давно есть действующий бизнес, вы можете использовать собранные внутренние неперсональные данные. Однако этот метод подходит не для всех видов бизнеса.

Например, если компания собирает данные о технологических стеках различных SaaS-компаний, то она может программно публиковать страницы на темы:

• SaaS-компании, использующие Next.js
• SaaS-компании, использующие PHP, и т. д.

Или что-то вроде:

• 10 лучших SaaS-стеков для финансового бизнеса
• 10 лучших SaaS-стеков для повышения производительности и т. д.

И для всего этого у них уже будут внутренние данные, поскольку они уже их собирают.

ChatGPT также хорош для pSEO. Его возможности просто потрясающие.

Например, в течение минуты я смог найти 10 ключевых слов, которые стоит попробовать для pSEO (см. скриншот выше). Ну, может, и не все, но здесь точно что-то есть.

Помимо поиска ключевых слов для pSEO, ChatGPT имеет несколько различных вариантов использования для pSEO, таких как генерация часто задаваемых вопросов, помощь в создании шаблона страницы, написание скриптов и формул автоматизации, создание метатегов и описаний и т. д.

После того как вы подготовили первоначальный список ключевых слов, пришло время просмотреть их по одному и оценить, стоит ли за них браться. Проверить можно следующие моменты:

• Ключевые слова должны быть с низкой конкуренцией, чтобы ваш сайт мог по ним ранжироваться
• Страницы в ТОПе не должны быть статьями с высокой степенью проработки, потому что pSEO-страницы, как правило, не могут с ними конкурировать
• Выберите ключевые слова, по которым вы уверены, что сможете собрать данные и создать качественный шаблон страницы
• Составьте первый (ограниченный) список ключевых слов, на которые вы собираетесь ориентироваться на своем сайте, и начните работу с них.

Как только вы составите финальный список ключевых слов, просто найдите все возможные "модификаторы" для этих ключевых слов и приступайте к подготовке данных для проекта.

Далее самое время приступить к созданию проработанного шаблона страницы.

Результат в Programmatic SEO зависит от проработки шаблона вашей страницы.

Шаблон страницы в Programmatic SEO — это структура и дизайн, которые вместе станут основой для создания множества страниц.

Все страницы будут создаваться на основе строк в базе данных.

В шаблонах применяется специальная разметка переменными (variables), которые генератор будет заменять на значения соответствующих записей из базы данных.

Давайте разберем на примере страниц Zapier, они тоже генерируются программно.

Динамические элементы подсветил на скриншоте. Так как будет проще понять, что именно подгружалось из базы данных.

Существует 2 типа шаблонов страниц, которые вы можете создать:

• статьи в блоге
• посадочные страницы (лендинги)

Если вы продаете товар или услугу, выбирайте лендинги. Если вы занимаетесь контент-маркетингом, выбирайте статьи.

Процесс создания шаблонов для обоих форматов подходов схож. Разница в основном только в дизайне: подготовка для лендинга займет больше времени, чем создание статьи в блоге.

Обратите внимание, что процесс создания шаблона зависит от платформы и технологического стека. Он может быть в простом формате markdown, HTML или любом другом.

Например, если вы используете JAMstack для публикации страниц, вам будет полезен простой маркдаун для шаблона в стиле блог-поста, как показано на скриншоте выше. Для любого другого технологического стека или платформы все будет по-другому.

Сейчас не будем излишне вдаваться в подробности создания шаблона для различных технологических стеков, так как этот процесс будет отличаться. Давайте сначала разберем, что стоит включить в шаблон и как оптимизировать SEO-параметры.

Перед созданием шаблона нужно разобраться в двух ситуациях:

• Данные уже есть: вам необходимо разработать шаблон таким образом, чтобы в него были включены все необходимые данные.
• Данные будут позднее: вы можете разработать шаблон, ориентируясь на референсы конкурентов, и уточнить его позднее.

В первом случае вам просто нужно включить всю необходимую информацию, которая вам доступна. А во втором случае вот элементы и информация, которые можно включить в шаблон страницы:

1. Краткое описание

Краткое описание обычно объясняет ценность продукта или услуги.

Например, если вы посетите генерённые страницы на Zapier, то заметите, что они просто добавили одно предложение для каждой страницы.

В общем, краткое описание помогает объяснить, какой товар/услугу здесь предоставляют.

2. Изображения

Без изображений веб-страницы скучны. В шаблоне нужно хотя бы одно изображение – оно улучшает внешний вид страницы и помогает SEO-продвижению.

Например, Nomadlist добавляет классное изображение в качестве фона в первом экране (hero section).

Если вы создаете шаблон для статьи в блоге, добавьте уникальное описание ко всем изображениям, чтобы увеличить уникальность страницы.

3. Функциональные возможности (Features)

Если создаете шаблон страницы для продукта или услуги, то укажите на функциональные возможности и преимущества.

Например, если бы мне нужно было сделать такой блок для платформы грузоперевозок, я бы добавил раздел с описанием функциональности приложения. И получилось бы как-то так:

4. Статистика и фактоиды

Добавление интересных статистических данных о предлагаемом продукте/услуге – тоже полезный ход.

Например, это может выглядеть следующим образом:

5. Вопросы и ответы

Такой раздел не только улучшает пользовательский опыт, но и полезен для SEO.

Вы можете добавить 5-10 вопросов, которые могут возникнуть у ваших пользователей перед совершением сделки. Предпочтительнее использовать аккордеоны для добавления FAQ, потому что так можно добавить всю информацию, не делая страницу слишком длинной.

6. Социальное доказательство

Социальные доказательства повышают доверие пользователей, поэтому их следует добавлять и на программно сгенерированные страницы.

7. Раздел "Связанные страницы

Вы можете добавить раздел "Смотрите также" или "Похожие страницы" (related pages) в нижней части страниц. Это поможет вам добавить внутренние ссылки для перелинковки, а также улучшит пользовательский опыт.

Правило # 1. Выполняйте on-page SEO-оптимизацию на 100%

Если требуется создать 1000 страниц для привлечения органического трафика из поисковых систем, шаблон, безусловно, должен быть SEO-оптимизирован.

Вот несколько вещей, которые вы можете сделать ...

• Оптимизируйте страницу под главное ключевое слово — добавьте его в title, h1 и URL.
• Добавьте ключевое слово на страницу несколько раз, чтобы плотность ключевых слов была оптимальной.
• Прорабатывайте перелинковку: добавляйте на другие внутренние страницы 2 и более ссылок
• Там, где это необходимо, не добавляйте внешние источники, которые будут повышать доверие к вашей странице
• Используйте WebP-формат изображений и выполните оптимизацию под Lighthouse
• Добавьте структурированные данные (микроразметку)
• Обеспечьте быструю загрузку страниц, потому что технические показатели сайта также являются фактором ранжирования
• Используйте ЧПУ и понятную структуру URL-ов, которая позволит упорядочить содержимое сайта (см. изображение ниже).

Ещё пример структуры URL у Airtable: https://www.airtable.com/templates/content-production

Правило #2. Улучшайте юзабилити страницы

На предыдущем этапе вы оптимизировали шаблон страницы для поисковых систем. Теперь пришло время оптимизировать страницу для пользователей.

Некоторые вещи, которые вы должны иметь в виду:

• Оформите страницу так, чтобы она выглядела привлекательно. Проработайте визуал, цвета, поля и т. д., чтобы страница была удобной для просмотра, и пользователи могли легко найти то, что они ищут.
• Раскрывайте конкретику. Например, вместо скучных кнопок призыва к действию, таких как "начать" или "узнать больше", используйте конкретные CTA, например, "скачать шаблон письма" или "начать редактировать шаблон".

Качественный набор данных для Programmatic SEO — это ключевое. Сбор таких данных — большая работа, причем нелинейная.

В этой части мы по шагам разберем (на примере моих проектов) как собрать данные для Programmatic SEO-проектов. Поехали.

Есть два подхода к данным:

• либо у вас есть данные, и тогда вы ищете ключи, под которые их можно использовать
• либо у вас есть ключевые слова, и тогда вы ищете, как собрать соответствующие данные.

Будем считать, что у вас есть семантическое ядро и вы определились с ключевыми словами и поэтому теперь готовите наборы данных. Пора браться за датасеты и вот где их можно взять:

• Данные доступны на одной веб-странице: в этом случае у кого-то уже есть данные, и они разместили их все на странице, откуда их можно скачать (бесплатно или за плату).
• Данные присутствуют на нескольких веб-страницах: если искомые данные и точки данных присутствуют на нескольких веб-страницах в Интернете, вам необходимо воспользоваться техникой веб-скрейпинга, чтобы собрать данные с нескольких сайтов.

Теперь давайте рассмотрим каждый из этих сценариев.

Вариант 1. Данные доступны на одной веб-странице

Это самый простой способ добыть данные для ваших pSEO-проектов, и зачастую вы даже можете получить их бесплатно. Просто нужно найти ту единственную веб-страницу, где присутствуют нужные вам данные, а затем загрузить весь набор в удобном для вас формате.

Источник #1. Выдача Google и Dataset Search

Google может быть чрезвычайно полезен для поиска подходящих датасетов. Вот некоторые способы использования Google:

• Поиск датасетов в Google – добавьте префикс или суффикс "скачать данные" (download data) к ключевому слову, и он автоматически покажет наборы данных с нескольких сайтов.
• Используйте оператор поиска “filetype:” – Google также индексирует файлы MS Excel (.xls) в поиске, поэтому добавление filetype:xls в конце поискового запроса также может быть полезным.
• Используйте оператор поиска “site:” – оператор поможет найти определенный веб-сайт, который можно использовать для поиска публичных Google-таблиц. Просто добавьте site:docs.google.com/spreadsheets в конце поискового запроса, и вы получите в качестве результатов только Google Sheets.
• Вы также можете использовать оператор site: для поиска Kaggle или других сайтов (Kaggle — проект Google по машинному обучению, где размещены наборы открытых данных). Просто добавьте “site:kaggle.com”, и в результате будут показаны результаты только с этого сайта.
• Используйте поиск по датасетам Google – этот инструмент от Google показывает в качестве результатов только наборы данных.

Для обычных кейсов есть шанс, что в первых нескольких результатах вы получите то, что ищете.

Источник #2. Поиск на государственных сайтах и хранилищах

Правительства почти всех стран имеют несколько сайтов с публичными данными, которые вы можете использовать для своих проектов. Почти всегда эти данные можно скачать бесплатно.

Например, у правительства США есть сайт data.gov, где доступно более 300 тысяч наборов данных из разных категорий. Аналогично у индийского правительства есть сайт data.gov.in, где доступно более 800 тысяч различных наборов данных, а также API.

Источник #3. Поиск на Reddit

На Reddit есть несколько активных сообществ, где можно найти наборы данных, относящиеся к разным темам. Вот некоторые интересные сообщества Reddit:

• r/datasets
• r/OpenData
• r/DataHoarder
• r/data и т.д.

Самое лучшее в этих сообществах то, что вы можете не только скачать данные, которые кто-то уже выложил в открытый доступ, но и запросить наборы данных, связанные с вашими проектами, и кто-то может вам помочь.

Источник #4. Поиск на GitHub

На GitHub хранится множество данных, представленных в различных форматах. Следующие способы помогут вам извлечь то, что вы ищете.

• Поиск на GitHub – зайдите на GitHub.com и напрямую найдите нужные вам данные. Например, если мне нужны данные о продаже автомобилей, то я могу найти "данные о продаже автомобилей" или что-то в этом роде.
• Используйте “site:github.com” в Google – иногда поиск Google по сайту работает лучше собственного внутреннего поиска сайта. Добавьте site:github.com в конце или начале поискового запроса в Google, и он будет показывать результаты только с GitHub.
• Используйте "site:github.com вместе с inurl:csv – Если вы ищете наборы данных в формате CSV, используйте “site:github.com inurl:csv” в конце или в начале поисковых запросов в Google: site:github .com inurl:csv [Ключевое слово]

Источник #5. Публичные API

Данные могут быть не только в формате CSV, XLS, MySQL и т. д., их также можно получить с помощью API.

Один из крупнейших сайтов API – RapidAPI, где вы можете найти 1000 платных и бесплатных API для своих проектов.

Вот еще несколько источников, помимо RapidAPI:

• ProgrammableWeb
• PublicAPIs
• AnyAPI
• API List и др.

Источник #6. Поиск в репозиториях наборов данных

Существует несколько сайтов-репозиториев с данными, которые я много раз использовал для своих проектов:

• Kaggle – предлагает широкий спектр наборов данных по самым разным темам: от финансовых данных до спутниковых снимков.
• Awesome Public Datasets – коллекция из 100 тысяч наборов данных в нескольких категориях, которая регулярно обновляется сообществом.
• Data World – платформа, предоставляющая доступ к широкому спектру наборов данных, а также инструменты для совместной работы, визуализации и анализа.
• DataSN – содержит 1000 000 правильно очищенных наборов данных в различных форматах и категориях.
• NASA EarthData – если вам нужны наборы данных, связанные с нашей планетой, то лучше открытых данных NASA ничего не может быть.
• Открытые данные Всемирного банка – если вы ищете данные о ВВП, финансах, населении и т. д. для разных стран, открытые данные Всемирного банка могут вам очень помочь.
• Academic Torrents – содержит сотни ТБ данных, который позволяет обмениваться исследовательскими данными с использованием протокола BitTorrent.

Большинство упомянутых выше хранилищ данных совершенно бесплатны для использования.

Вариант 2. Данные присутствуют на нескольких веб-страницах

Если подходящие данные присутствуют на нескольких веб-страницах, то для сбора данных можно воспользоваться методом скрейппинга.

Например, мне нужно создать сайт, который будет сравнивать цены на товары: буду сравнивать цены на один и тот же товар на нескольких сайтах, таких как Amazon, eBay, Walmart, Flipkart и др. Так как практически невозможно извлечь данные о цене вместе с данными о других характеристиках продукта с нескольких сайтов, мне нужен автоматический скрипт, который будет делать это за меня с регулярной периодичностью.

Как правило, скрейппинг общедоступных данных не является противозаконным, но обязательно ознакомьтесь с условиями и положениями сайта, который вы хотите скрейпить.

Сокращение данных может быть выполнено одним из следующих способов:

• С помощью no-code инструментов
• С помощью кастомных скриптов

Давайте рассмотрим каждый из этих способов.

Источник #1. С помощью No-code инструментов

Если извлечение данных не слишком сложное, то можно использовать определенные No-code инструменты:

• OctoParse
• ScrapingBee
• Zyte
• ParseHub и др.

Я использовал OctoParse для своих проектов. Вы вводите URL-адрес, с которого хотите скрейппить данные, как правило, он автоматически определяет повторяющиеся элементы на странице, а также пагинацию — это очень удобно в работе. В бесплатной версии OctoParse можно добыть до 10 000 строк данных. Вы можете экспортировать данные в форматы CSV, XLS, JSON и MySQL.

Источник #2. С помощью кастомных скриптов

Кастомные скрипты — тоже хороший способ, но он требует навыков программирования. С ними можно собирать столько данных, сколько захотите, без каких-либо ограничений. Такие библиотеки Python, как Selenium, Scrapy, BeautifulSoup, Requests и lxml, имеют обширную документацию для начала работы.

Скрейппинг – это сложный и трудоемкий процесс: данные нужно собрать, а затем очистить, чтобы сделать их пригодными для использования. Поэтому убедитесь, что вы готовы ко всему этому.

Такая работа обычно классно делается в паре: Заказчик + Программист. Так как есть работа с SEO-частью (SEO-стратегия, анализ запросов и сбор семантического ядра), а есть работа, связанная с автоматизацией и созданием программного когда.

Вы можете комбинировать несколько наборов данных. Например, если один набор данных предоставляет мне названия автомобилей и их технические характеристики, я могу найти другой набор данных, содержащий данные о годовых продажах тех же автомобилей. А затем объединить их оба, чтобы создать свой уникальный набор данных.

В этой главе разберем реальные кейсы pSEO-проектов.

1. Создание страниц профилей

Programmatic SEO полезен в создании страницы профилей для различных объектов, с описанием возможных сведений об этом объекте — примерно как на странице Википедии.

Например, если вы работаете в нише "домашние питомцы и собаки", вы можете создать страницы профилей для всех различных пород собак. Страницы могут содержать такие блоки как: физические параметры, история, продолжительность жизни, темперамент и т. д. о каждой собаке.

Конечно, именно такой вариант реализации не подойдёт для каждой ниши как есть, но сам подход универсален.

Еще пример: вы работаете в нише электроники и создаете страницы профилей для различных электронных гаджетов и там есть информация о том, что это такое, для чего используются, кто создал, как они выглядят, когда были созданы и т. д.

Возможно, эти страницы профилей не приведут вам готовых к покупке пользователей, но они помогут вашему сайту стать авторитетным в нише.

2. Создание страниц сравнения (comparison pages)

Когда потенциальный клиент ищет "продукт A vs продукт B", ему могут пригодиться страницы сравнения. Даже если у вас простой контентный сайт, вы все равно можете создать страницы сравнения для различных продуктов/услуг.

Еще пример от платформы email-маркетинга AWeber. Они взяли всех своих основных конкурентов и создали отдельные страницы сравнения, подчеркивающие, почему их платформа лучше.

В обоих примерах Programmatic SEO работает как инструмент лидогенерации.

3. Location-based страницы

Programmatic SEO хорош для создания страниц со списком услуг/компаний/заведений в городах и странах.

Еще пример. Предположим, что вы предлагаете услуги по чистке бассейнов во всех крупных городах Турции. Тогда вы хотите, чтобы ваши потенциальные клиенты в этих городах находили вас, когда они ищут что-то вроде "услуги по чистке бассейнов в Стамбуле". И для этого нет лучшего способа, чем использование программного SEO.

При создании таких страниц нужно быть очень осторожным. Старайтесь, чтобы на каждой странице было как можно больше уникального контента, простое изменение названия места в заголовке не поможет.

4. Страницы данных

Вы можете создавать страницы, на которых в структурированной и наглядной форме будут представлены огромные наборы данных (кейс похож на пример с профилями).

NomadList действуют именно так для продвижения в разных городах мира.

Еще пример. Страницы населения стран на Worldometer, где огромные данные о населении представлены как в виде наглядного графика, так и в виде простой таблицы.

Любой, кто ищет данные о посещаемости сайтов, обязательно попадет на эти страницы, а их CTA будут готовы превратить случайных посетителей в платящих клиентов.

5. Рейтинги и обзоры (best-страницы)

Да, вы можете создавать рейтинги, подборки и обзоры с помощью Programmatic SEO.

Например, страницы стартапов на сайте Failory – один из лучших примеров такого подхода.

Еще пример страницы на сайте MarketWatch под запрос “best CRM for real estate”, на которой перечислены все инструменты, а затем даны ссылки на отдельные страницы профиля каждого из перечисленных решений, например, Zoho.

6. Глоссарий

Пользователи, изучающие AI, обычно интересуются специализированными терминами (токенизация, тонкая настройка, вкрапления и т. д.). Если у вас сайт, на котором рассказывается обо всем, что связано с ИИ, вы можете создать глоссарий всех терминов, которые будут интересны людям.

Вот пример такой страницы. Здесь перечислены все важные термины, связанные с искусственным интеллектом и машинным обучением. На самом деле, вы можете сделать то же самое практически в любой нише и для любого сайта.

7. Калькуляторы и конвертеры

Например, калькулятор изменения цен на жилье от In2013Dollars для всех штатов США. Кстати, на этом сайте можно многое узнать о pSEO, просто посмотрев на то, что они сделали.

8. Для SaaS-продуктов

У SaaS-компаний один из самых интересных сценариев использования Programmatic SEO для привлечения на свой сайт огромного количества трафика с высокой вероятностью конверсий.

Вот еще идеи Programmatic SEO для SaaS-бизнеса:

• Создавайте массовые страницы с кейсами использования (use-cases), например, как использовать YourSaaS для {чего-то}.
• Создавайте страницы альтернатив (alternatives pages), включая ваших конкурентов, например, лучшие альтернативы {вашему конкуренту}.
• Создавайте страницы сравнения (comparison pages) с конкурентами, например, YourSaaS против {вашего конкурента}.
• Создавайте небольшие онлайн-инструменты, которые являются частью вашего большого продукта.

9. Для контентных сайтов

Вот еще несколько интересных идей pSEO для контентных сайтов:

• Создавайте страницы сравнения продуктов (comparison pages), например, {позиция 1} против (vs) {позиции 2} или сравнение (compare) между {позицией 1} и {позицией 2}.
• Создавайте страницы под кластеры вокруг подтем в вашей нише, например, для сайта о рыбах такие темы, как руководство по уходу за {видами рыб} или может ли {рыба 1} жить с {рыбой 2}.

Понимаете, как работает?

Идеи применения Programmatic SEO есть повсюду!

Вернуться к содержанию руководства.

С 2011 Programmatic-проекты растут по экспоненте по трафику и активной аудитории, среди них: платформы, агрегаторы, маркетплейсы и каталоги с тысячами страниц. Для SEO-команды оптимизация 10 000+ страниц под НЧ-запросы — это, бесспорно, вызов.

За последний год мы в HighTime спроектировали архитектуру для 5 новых programmatic-проектов и провели 11 консультации по SEO для уже существующих.

Если вы уже работаете над Programmatic SEO в своём проекте или планируете создать такой раздел? Напишите мне, вместе мы проработаем и утвердим стратегию продвижения, а также будем планомерно развивать проект вместе с вашей командой маркетинга и разработки.