Думай как Google: как мы начали шпионить за поисковым ботом

Сергей Безбородов CTO JetOctopus рассказывает о том, как в попытке вырастить трафик на сайте миллионнике, он создал аналитический сервис и построил на этом бизнес.

Сергей Безбородов, CTO JetOctopus

Как мы нашли нишу для бизнеса

В 2016 году я решил разработать краулер, повторяющий поведение поисковых ботов Google и Яндекс, чтобы проанализировать всего один сайт — наш собственный. Через 1,5 года на основе этого краулера мы c моим партнером построили сервис JetOctopus, который сегодня работает с большими сайтами в нескольких странах. Мы научились объединять результаты краулинга клиентского сайта с анализом его логов за последние полгода, и на основе этих данных получать полную картину — теперь мы видим не только что «не так» с сайтом с точки зрения поискового бота, но и что с этим делать. В этой статье я хочу поделиться с вами историей того, как мы нашли эту нишу и какие взлеты и падения встретились на нашем пути.

Боль клиента

Все началось с того, что в 2013 году я со своим партнером по бизнесу Юлией Нестерец создал сайт-агрегатор вакансий. На тот момент мы уже несколько лет работали с агрегаторами разных тематик – от авто, недвижимости до товаров массового потребления, и у нас руки чесались сделать свой такой же, но лучше.

Через 1,5 года мы запустились сразу в нескольких странах с джоб агрегатором. В России сайт был открыт под брендом hotwork.ru. Наш сайт собирал вакансии, а также имел небольшой, но очень полезный блог с человеческими статьями (а не seo-мусором по $15 на бирже) и снятыми лично нами видео, где мы рассказывали о том, как, например, успешно пройти собеседование, или в чем плюсы и минусы работы в крупных корпорациях. Мы не хотели стать очередными безликим сайтом-агрегатором, мы хотели нести настоящую пользу. Например, мы сделали видео тренажер собеседований, с помощью которого соискатели могут прорепетировать свое собеседования, отвечая на 10 самых популярных вопросов и получая %-ю оценку корректности именно такого ответа и почему ответ А все же более предпочтителен.

Основным источником трафика для нас, как для любого агрегатора, были поисковики Google и Яндекс. От посещаемости зависел наш заработок. Мы стартовали с одним из крупнейших на тот момент национальных seo-агентств. За время роста нашего сайта мы сменили это агентство на фрилансеров и обратно на новое агентство несколько раз.

Мы конечно не фоткали наши встречи с SEO-шниками, но выглядело это примерно так.  Стоковое фото

Я не могу сказать, что никто из них ничего не делал, делали мы как раз очень много, честно и ответственно внедряли задание за заданием. К 2016 году суммарное количество страниц перевалило за 60 миллионов. Посещаемость наших сайтов-агрегаторов вакансий по всем странам колебалась в пределах 40-70 тысяч в сутки. А затем эти цифры перестали расти.

Мы заказывали аудиты, читали многостраничные отчеты. Справедливости ради я хочу отметить, что некоторые задачи, которые ставили перед нами агентства были полезными и логичными. А вот другие выдвигали спорные теории о том, что трафик не растет потому что нужно сделать заголовки вакансий в теге h2. Или, например, мы увидим рост трафика, как только уберем pop-up. И так далее. Я приходил к ним за решением, как ускорить свой гоночный автомобиль, а они советовали мне заменить “елочку-пахучку” в салоне.

После этих встреч у меня складывалось впечатление, что трафик непредсказуем и непрогнозируем, а действия агентства влияют на его рост опосредованно. Денег мы тратили много, а результата я не видел.

Все время нашей стагнации я продолжал мониторить конкурентов. Я видел как в нашей сфере появляются новые молодые игроки, и сначала рост рынка меня радовал. Радовал до тех пор, пока эти молодые конкуренты не начали обгонять нас в позициях и расти активнее, чем мы.

Что такое краулинг и краулинговый бюджет

Сайты – это живые структуры, которые меняются, растут, какие-то разделы увеличиваются, какие-то наоборот перестают быть актуальными. Чем больше сайт, тем важнее становится техническая сторона и on-site оптимизация. Когда у тебя 5 000 000 страниц, ты не можешь быть уверен в том, что все они нужные и среди них нет никакого мусора.

Большие сайты становятся неповоротливыми по сравнению с со свежими сайтами меньшего объема, которые проще содержать в порядке, а путанная структура больших сайтов уменьшает количество органического трафика. В поисках решения, я посмотрел видео Юрия Титкова про техническое SEO https://www.youtube.com/watch?v=anqUC0UWGWo, которое, в общем-то, задало вектор нашего дальнейшего развития. Я хотел разобраться, все ли нужные страницы индексируются поисковым ботом Google правильно. Для этого я стал искать сервисы, с помощью которых можно скраулить сайт.

Краулинг – это процесс, при котором поисковой бот (краулер) посещает ваш сайт страница за страницей, переходит по всем ссылкам и добавляет их в очередь на индексацию. Он сравнивает список URL-страниц с теми, которые уже есть в индексе, если нужно, обновляет их содержимое, добавляет новые и удаляет старые. Только после этого страницы вашего сайта попадают в индекс поисковой системы, а оттуда в выдачу результатов поиска.

У каждого поисковика есть свой сложный краулер бот, выполняющий задачи для большой поисковой системы. Этот краулер сканирует не весь сайт целиком, а ровно столько, сколько для этого сайта выделено краулингового бюджета.

Краулинговый бюджет – это определенное количество ресурсов которое Googlebot тратит на сканирование вашего сайта. Он необходим, чтобы приоритезировать что и когда сканировать, и сколько ресурсов для сканирования может выделить хостинг, размещающий ваш сайт. Размер бюджета зависит от различных факторов: размер сайта, скорость генерации страниц, структурные факторы, объем запросов по которым ранжируется сайт, их частотность и другие.

В статье “Что краулинговый бюджет означает для Googlebot” для блога вебмастеров Google Гарри Иллис заметил, что этот бюджет должен волновать только владельцев больших сайтов. Поскольку я как раз являлся владельцем большого сайта, меня волновало, на какие именно страницы моего сайта поисковой бот тратит свой краулинговый бюджет, а какие остаются вне фокуса его внимания.

Фейл с частичным краулингом


Стоковое фото

Я нашел сервис, который предлагал услугу анализа сайта краулером, чтобы посмотреть на него так, как видит его Googlebot. Мне также сказали, что полный краулинг – это дорогостоящая процедура. Сейчас, когда я сам продаю полный краулинг сайта, я думаю, что согласился бы и оплатил полную процедуру, и уже через полгода мы бы получили результат.

Но вместо мы решили сделать частичный краулинг с помощью screaming frog – проверить 200 000 страниц из 5 000 000, а затем полученные результаты реплицировать на весь сайт.

Этот принцип используется в школьной задачке по математике, когда ученому нужно было посчитать примерное количество рыб в пруду: он ловит в сеть 30 рыб и окольцовывает их, а затем отпускает обратно в пруд. Затем он снова ловит 40 случайных рыб, и две из них оказываются окольцованными. Из этого он делает вывод, что на каждую окольцованную рыбу приходится 19 неокольцованных.

30*19+30=600

Значит в пруду примерно 600 рыбин.

Инсайтом результатом частичного краулинга нашего сайта стало то, что 30% проверенных страниц оказались мусорными. Мы начали проверять эти мусорные страницы и выяснили, что большинство из них созданы автоматически.

Специфика сайта вакансий заключается в том, что многие страницы создаются с помощью автогенерации. Например есть вакансия “Няня” и эта вакансия тиражируется на все города, которые есть в базе, чтобы получилось “Няня в Москве”, “Няня в Ставрополе” и так далее. И вот список из 2000 вакансий перемножается на список всех городов и под каждый запрос создается страница. Затем туда добавляются подкатегории, например, “Няня выходного дня”, это тоже перемножается на количество городов, и выходит “Няня выходного дня в Москве” и так далее.

Часто эти страницы создаются на основе пользовательских запросов. Интересный момент заключается в том, что когда кто-то из отчаявшихся безработных соискателей написал в поисковом поле на нашем сайте слово из трех букв, то есть вероятность, что он создал несколько сотен страниц результатов поиска таких вакансий в разных городах России. И именно эти страницы мы нашли во время проверки дубликатов.

Конечно, мы тут же решили скрыть все автогенерированные страницы, полагая, что все они – мусорные, пока мы не разберемся с ними. И как только эти изменения вступили в силу, мы начали не просто проседать в посещаемости – наши показатели стали обрушиваться с огромной скоростью.

Выяснилось, что мусорные страницы, попавшиеся нам на глаза во время проверки оказались скорее исключением, чем системой: большинство автогенерированных страниц были нормальными, полезными и приносили хороший трафик. Так мы чуть не утопили собственный сайт.

Сейчас я понимаю, что репликация выводов полученных при частичном краулинге была бы возможна только при том условии, если бы бот сканировал отдельные случайные страницы. Тогда бы пример с долей окольцованных и неокольцованных рыб сработал.

Но суть краулинга в том, что он последователен – бот попадает на главную страницу, переходит по всем ссылкам, потом открывает все ссылки на этих страницах и так далее как домино. Это означает, что остановив краулер через 200 000 страниц мы увидели только одну область сайта, которая наиболее близка к главной странице сайта, и ситуация, которая там сложилась не может отображать общую картину.

Мы снова открыли эти автогенерированные страницы, но на посещаемости сайта это все равно сказалось.

Ниша для saas бизнеса

В марте 2016 года мы с Юлей взяли кофе на вынос и прогуливались по городу. Мы долго разговаривали и в итоге пришли к тому, что вместо подписания контракта с saas сервисом на продвижение hotwork мы стартуем новый проект – разработаем собственный краулер. Тем более, что выглядела эта задача простой и прибыльной.

Прибыльной она нам показалась потому, что когда мы запросили просчет полного краулинга нашего сайта нам выставили цену в 2500 EUR в месяц с годовым контрактом. Во время презентации услуг, которые входили в этот пакет, нам показывали презентацию краулинга и типы ошибок, которые он отлавливал, и я понял, что я бы сам мог написать алгоритмы, которые делают все то же самое. Только лучше.

Мы давно хотели заняться SAAS бизнесом, и для меня, как для программиста эта задача выглядела привлекательно, на фоне постоянной и фрустрирующей борьбы за рост трафика на hotwork.

Выбор технологии

Не буду утомлять вас техническими подробностями, затрону лишь по верхам. Прототип краулера я написал на php, и он тратил уйму ресурсов, тормозил, но свою работу делал. Еще пара месяцев ушла на написание алгоритма перелинковки, но свой результат этот прототип все же дал.

Сначала мы рассчитывали полностью подготовить проект за 6 месяцев, однако в общей сложности потратили год только на написания ядра. Его пришлось переписать на Go, предварительно изучив технологию, разобравшись с мутексами, каналами, тредами и прочим. Затем я раз 10 переделал структуру хранения данных, очередей и прочего, пока не создал краулер, работой которого был бы хоть как то доволен: он получился достаточно технологичным, требовал мало ресурсов, а работал быстро. Мы назвали свою компанию JetOctopus.

Наша команда. Партнер Юля Нестерец слева от меня.  Сергей Безбородов

Первые продажи

Пока я заканчивал бэкэнд, мой партнер по бизнесу Юля стала предлагать знакомым владельцам крупных сайтов наш краулер, как альфа-версию продукта. Первыми согласились auto.ria.com – это старый, громоздкий, высоконагруженный сайт с весьма сложной архитектурой. Мы предложили им анализ 1 млн. страниц.

Поскольку у нас не было никакого фронтэнда, мы предоставили им отчет в виде таблички в Excel. Мы поразили этого клиента в первую очередь скоростью краулинга и объемом собираемых данных. Результаты и наши рекомендации по оптимизации оказались достаточно хороши для того, чтобы auto.ria.com дозаказали у нас еще 20 миллионов страниц уже на платной основе.

Эта продажа дала нам понять, что у краулера есть потенциал и что наш потенциальный клиент – это крупные сайты.

Нужно построить монополию

Когда перед нами стал вопрос расширения географии рынка, Юля как раз читала книгу Питера Тиля “От нуля до единицы”.

Питер советовал строить монополию в тех местах, где существует рынок, но еще нет конкурентов, вместо того, чтобы приходить на сформированный рынок и ввязываться в изматывающую конкурентную борьбу. Поскольку технологии краулинга достаточно дорогие в обслуживании, мы понимали, что конкурировать будем не с небольшими стартапами вроде нас, а с гигантами рынка с большими бюджетами. Поэтому вместо того чтобы выходить на высококонкурентный рынок Великобритании или США, мы решили искать страну, где достаточно развит е-коммерс и еще нет компаний, предлагающих услуги краулинга больших сайтов. Или они там есть, но в минимальном представлении.

Мы дали задание аналитику проанализировать 50 стран по этим двум критериям. Так мы нашли Бразилию, где много диких обезьян. Страна выглядело очень соблазнительно: большое население, высокий процент проникновения интернета, развитый e-commerce и никакой конкуренции. Даже удивительно, как такой лакомый кусок еще никто не захватил.

Юлия оказалась давно знакома с одним из топ IT предпринимателей Бразилии Romero Rodrigues. Они созвонились и она рассказала ему о проекте. Он реагировал очень живо, он сказал, что ему очень нравится, и что такого продукта очень не хватает в Бразилии. Четыре месяца Юлия вела активные холодные продажи через LinkedIn с бразильцами, многие охотно шли на контакт, тестировали и хвалили проект, но заказывать услугу никто не спешил.

Тогда Юлия решила напрямую спрашивать своих собеседников, мол, если вам действительно нравится, то давайте попробуем сотрудничать. Поскольку прайс тогда еще не был разработан, а выйти на бразильский рынок хотелось любой ценой, она просто назвала цену британского конкурента, деленую на пять. В ответ ее собеседник, после небольшой паузы, сказал, “тулза классная, но мы тут бедные. Для нас это дорого”. Оказалось, что в Бразилии много только диких обезьян, а вот денег не много. “Да и потом, – вежливо написал наш охлаждающийся лид, – мы должны платить налог за любую работу с иностранными компаниями в размере 40%”.

Сказать, что мы были шокированы этими новостями – не сказать ничего. Больше всего мы задавались вопросом, как так вышло, что мы не узнали об этой особенности законодательства до того, как потратили четыре месяца жизни компании на выстраивание связей с этой страной. Так мы получилим первый урок о конкуренции: если какая-то ниша кажется лакомым куском, который никто не хочет брать, то скорее всего там есть какой-то подвох.

Однако за это время подоспел фронтэнд, у нас появился сайт и запустился маркетинг, который начал приносить первых клиентов. Этими клиентами оказались в том числе компании из США, Великобритании, Германии – в странах с высокой конкуренцией, которой мы так боялись. Зацепив их нашими конкурентными преимуществами, они с радостью шли на бесплатный тест и после легко выделяли бюджет на краулинг, получая однозначную ценность за меньшие деньги. И это оказался второй практический урок о конкуренции – не нужно бояться выходить на устоявшийся рынок, может оказаться, что клиенты там как раз ждут новых имен.

Отечественный рынок SEO

Помимо Европы и Америки мы продолжаем работать на отечественном рынке. В целом русскоязычный рынок seo весьма специфичный.

Исторически сложилось, что получить ссылки не сложно - всегда есть биржы с ссылками по любым ценам и это во многом сформировало направление мышления seo специалистов. В любой непонятной ситуации надо закупить ссылки, а если это не помогает - строить pbn сетки. Платить деньги за программы не очень принято, что обуславливает огромную популярность screaming frog - наличие крака.

Не то чтобы западный рынок сильно отличался от нашего, но там процесс покупки ссылок построен намного сложнее, чем наш. Поэтому там больше волнуются о технической оптимизации и чаще смотрят логи, чем у нас.

Cтоковое фото

Почему мы добавили анализ логов

Результаты краулинга показывали какие технические SEO ошибки мешают клиентскому сайту получать больше органического трафика, но не давали четкого конкретного понимания что с этим делать. Тогда мы обратились к лог-анализу.

Log analysis – очень популярная на Западе услуга анализа логов сайта. В России не очень любят log-анализ из-за его высокой цены, технической сложности и дефицита специалистов достаточного для ее проведения уровня. Заключается в том, что каждый раз когда поисковой бот бывает на странице вашего сайта, он оставляет об этом запись в логах. Если пошпионить за ним достаточно долго, хотя бы месяц (а в идеале полгода), и проанализировать эти записи, то можно отследить, на каких страницах поисковой бот бывает и как часто, а какие обходит стороной, и уже исходя из этих исследований делать оптимизацию.

Еще на своих проектах я начал собирать access логи и следить за тем, на каких страницах бывают пользователи и боты. О лог-анализе как таковом я слышал на конференциях и знал, что он есть у конкурентов, но тогда мне казалось, что это что-то очень сложное, профилактическое и глупо тратить на это свое время тогда, как нужно заниматься линкбилдингом.

Зато когда я впервые увидел логи, я действительно был удивлен. Оказалось, что они содержат огромное количество полезной информации. А самое главное неожиданной.

Мы объединили краулинг сайта с log-анализом, и получили полную картину того, как именно поисковой бот сканирует сайт, на какие страницы тратит краулинговый бюджет, и самое главное, какие факторы влияют на его поведение, и что сделать для того, чтобы нужные страницы попали в индекс. Мы назвали это 2-D анализ. Результат этого 2-D анализа для нашего сайта оказался куда лучше чем все, что нам предлагали на рынке.

В отличие от конкурентов, мы решили брать плату не за количество лог строк, а фиксировано, учитывая лишь количество страниц сайта. Потому что чем больше период логов, соответственно лог строк, тем точнее окажется картина, которую мы увидим. Оптимальный период времени для анализа – логи за полгода.

И чем больше мы проводили лог-анализов своим клиентам, тем больше мы убеждались в том, сколько неизведанного хранится в логах. Если в начале мы робко предупреждали клиентов, что “возможно вы увидете там неожиданные вещи”, то со временем пришли к более уверенному утверждению: “Результат точно вас удивит”. Еще не было ни одного крупного сайта без сюрпризов. Люди годами тратят бюджеты на одно, а лог-анализ дает понять, что дело может быть совсем в другом.

В целом я могу сказать, что горжусь результатами проделанной работы. За последний год мы просканировали 300 млн. страниц и проанализировали 6 млрд. лог-строк больших сайтов. Нашими клиентами были Auto.RIA, Template Monster, hh.ru, Preply, Work.ua и многие другие. Более подробно почитать о том, к каким выводам мы пришли, анализируя логи, вы сможете в моей следующей статье через неделю. Будет много графиков и инсайтов.

0
42 комментария
Написать комментарий...
Alexey

Классно написано, классный продукт, пишите еще.

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Спасибо, Alexey.

Ответить
Развернуть ветку
Mikhail Kashkin

Первая статья о SEO на сайте которая реально крутая! Я даже не знал, что о SEO можно интересно писать! Спасибо.

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Лестно, спасибо. Спешу написать продолжение. Там вообще сок.

Ответить
Развернуть ветку
Руслан Степанов

То есть вы хотите сказать, что самостоятельно разработали краулер, аналогичный поведению поисковых роботов Google и Яндекс? Извините, но что-то я сомневаюсь в его эффективной работоспособности

Ответить
Развернуть ветку
Mikhail Kashkin

В чем сложность сделать краулер сайта?

Ответить
Развернуть ветку
Serge Bezborodov
Автор

принципы краулинга не сложны - идем на главную страницу по ссылкам с ней, потом по ссылкам с тех страниц и так далее, пока не закончатся все ссылки по которым мы не ходили на сайте
разница в конечной задачи краула, у посковиков - обрабатывать и находить информацию из результатов краула, а у нас только технические моменты/характеристики страниц

Ответить
Развернуть ветку
Serge Bezborodov
Автор

конкретно на вопрос что сами разработали краулер - да, мы не юзали никаких сторонних библиотек, инструментов и т.п., голый go код, многопоточность - и тянем без проблем 100-200 млн страниц на краул

Ответить
Развернуть ветку
Радион Уранов

Но вы же не можете скопировать поведение гугловского бота. Как вы можете знать какому алгоритму он следует?
А если это обычный скан сайта на ошибки, то есть же такие, и вроде давно.
В чем уникальность вашей разработки?

Ответить
Развернуть ветку
Марк Красс

Интересная стратегия, приятно наблюдать, что еще остались мозги у нас. К тому же, вы активно продвигаетесь на отечественном рынке, хотя, как мне кажется это никому в этой стране не нужно((

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Есть такой момент. Линочки любят все:) Но мы имеем амбиции обучать свою целевую аудиторию, доносить ценность технической оптимизации, потому что её никакие ссылки не заменят. Технически оптимизированный сайт летит в выдаче. Вот из обучающих видео записал коротенькое по структуре сайта https://www.youtube.com/watch?v=vqaqegdt5Ls

Ответить
Развернуть ветку
Alexey Andrusenko

Молодцы

Ответить
Развернуть ветку
Nikita Sawinyh

Интересно было бы послушать про то как вы конкурируете на западном рынке с deepcrawl/oncrawl/botify/audisto. Конкуренция на рынке saas seo-краулеров мягко говоря не маленькая.

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Спасибо, Nikita, за вопрос. Конкурируем скоростью краулинга (самая высокая), собираем самое большое количество данных (botify здесь не берем, пока они больше). Ценой - самая доступная цена (в первую очередь в сравнении с botify, но и deepcrawl/oncrawl стоит ощутимо дороже. Как говорят наши клиенты 2 нас "лучшая служба поддержки на рынке" это цитата с кейса http://prntscr.com/n97xqe В разделе Cases, если будет любопытно, найдете это.

Ответить
Развернуть ветку
Руслан Юсупов

Спасибо автору за интересную статью. Хотелось бы увидеть продолжение. Но в итоге, проанализировав материал статьи, получается вы не рекомендуете работать с SEO агентствами?

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Руслан, я не берусь давать советы в этом векторе. Но в нашем конкретном случае значительных результатов в SEO нам агентство не смогло организовать. При нашей повышенной внимательности к SEO задачам. На больших сайтах сложнее показать рост SEO трафика, когда старт идет с 30 тысяч SEO посетителей в сутки.

Ответить
Развернуть ветку
Sobaka Zabiyaka

На скольких сайтах вы уже проверили свой полный краулинг?! А как интересно краулинг забраковал автоматически созданные страницы, если у них было весомое количество просмотров, он что не берет в расчёт этот показатель априори?

Ответить
Развернуть ветку
Serge Bezborodov
Автор

клиентских краулов счет идет на тысячи,
данные по просмотрам страниц мы можем получить из search console, но эта интеграция еще в разработке. И там уже можно строить интересные выборки, как страницы которые получают трафик но не каноничные или слабо залинкованные и т.п.

Ответить
Развернуть ветку
Александр Кот

Потрясающая статья! Теперь понятно насколько важен анализ логов сайта. Вы хотите сказать, что только через лог-анализ можно узнать как именно поисковой бот сканирует сайт, и на какие страницы тратит краулинговый бюджет, или есть еще какие-нибудь способы это узнать?

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Александр, это самый эффективный способ так точно.

Ответить
Развернуть ветку
Радион Уранов

Только зачем для этого писать своего бота, если можно проанализировать логи Гугла?

Ответить
Развернуть ветку
Павел Сурта

Краулер - это вроде не самый простой такой алгоритм. Вы хотите сказать, что написали его самостоятельно? Сомневаюсь в том, что внутри получилось действительно мощное наполнение.

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Павел, а вы не сомневайтесь, а пойдите потестируйте. У нас бесплатный 7-дневный тест. Уже говорил, для нас скраулить 200 млн. страниц - это не проблема. И это не стоит всех денег мира, что уже не тривиально. Поэтому не буду сильно сыпать словами. Тест - это всегда самый справедливый ответ на ваш вопрос.

Ответить
Развернуть ветку
Ева Пономарева

Доброго времени суток. Интересная стать, я много интересных моментов узнала. Для меня, как для SEO маркетолога все очень понятно. Но почему, вы не рекомендуете обращаться в SEO агентства?

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Ева, наше мнение из собственного опыта и из опыта крупных клиентов: агентства не имеют возможности уделять должное время проекту, которое необходимо для глубокого анализа. Для небольших сайтов агентства - это оптимальный вариант. Их привычный подход реально дает результат. Но на крупных, когда там уже нужно вытачивать on-page SEO, придумывать более изощренные методы перелинковок и прочее, что подразумевает глубокое проникновение в проект, тут агентства, как правило, не показывают результат.

Ответить
Развернуть ветку
Pavel Medvedev

Но в инхаусе будет SEO-шник одиночка либо небольшой отдел, у которого один сайт, мало данных для анализа. А у агентства накопленный и постоянно обновляющийся опыт продвижения десятков-сотен сайтов в текущий момент времени - больше экспертизы. Почти все действия уже отточены и опробованы на множестве сайтов и не надо экспериментировать - знаешь что и как делать, есть четкое видение.
Пример - есть знакомая на проекте, глубокое погружение... уже года 3 мусолят что-то с сайтом, непонятно, вопросы однотипные задает постоянно. Мы все это делали бы не 3 года а отправили бы в первичном ТЗ на корректировку сайта, которое высылается в первый же месяц и занимает может быть часов 5-8 чистого времени у специалиста, т.к. все наработки уже есть. Получается разница между 3 годами глубокого погружения и 8 часами работы профи :)

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Pavel, если вы говорите о первичном техническом SEO, то я с вами соглашусь на все 100%. У нас тоже было именно так. Первые полгода результат был, а потом, когда наработки закончились, пришел тупик. При растущем рынке, то есть до потолка было еще далеко. Потому что агентству в большинстве случаев даже не выгодно выделять опытного SEO-шника на отдельный проект, чтобы он искал новые специфические эксперименты по перелинковке и др., что выходит за рамки наработок, потому что на простых проектах, используя наработки этот специалист заработает агенству куда больше денег.

Ответить
Развернуть ветку
Илья Черепинец

Ваша стратегия привлечения целевых лидов через линкедин мне понравилась.
Но недавно пытался вспомнить название вашей компании, минут 20 заняло найти сайт. Из за осьминога, сильная ассоциация с гитхабом, пытался найти джетхаб =)

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Спасибо, Илья, работаем над запоминаемостью (в том числе и этим постом:). Выбрали осьминог с прямой ассоциацией существа, который проникает во все щели одновременно. Захватываем всеми щупальцами одновременно ваш сайт и выдаем точки боли. Поэтому осьминог:)

Ответить
Развернуть ветку
Igor Rudnyk

Топовый краулер

Скорость работы и качество саппорта - на высоте.

Ответить
Развернуть ветку
Вася Круглый

Я для анализа логов использую Semonitor. Ваш алгоритм написан лично Вами? Или это чья - то идея, которую взяли на вооружение?

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Да, Вася, написан лично мной. И основная соль нашей услуги анализа логов - это 1) то, что мы не ограничиваем количество лог строк, чем больше период логов, тем лучше, за это вы не переплачиваете 2) не вы копаетесь в своих логах, а наша команда аналитиков. На выходе вы получаете отчет с картиной индексирования своего сайта и конкретными рекомендациями о том, как повысить свои позиции в Гугле.

Ответить
Развернуть ветку
Щербачев Михаил

Отличный краулер. Рекомендую.

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Спасибо, Nikita, за вопрос. Конкурируем скоростью краулинга (самая высокая), собираем самое большое количество данных (botify здесь не берем, пока они больше). Ценой - самая доступная цена (в первую очередь в сравнении с botify, но и deepcrawl/oncrawl стоит ощутимо дороже. Как говорят наши клиенты 2 нас "лучшая служба поддержки на рынке" это цитата с кейса http://prntscr.com/n97xqe В разделе Cases, если будет любопытно, найдете это.

Ответить
Развернуть ветку
Ева Пономарева

Согласна, что конкуренция очень большая в такой нише. Что касается стоимости услуг, то на западе это очень востребовано и дорого. А как у вас интересно? Хотели бы посотрудничать.

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Вот наш прайс https://jetoctopus.com/tariff Особенно доступна (пока) как раз услуга комплексного анализа логи+краулинг. Обратите внимание.

Ответить
Развернуть ветку
John Whistler

Получается, что краулинг имеет смысл только для действительно огромных сайтов с раздутым числом страниц? А для небольших или только развивающихся сайтов есть что предложить?

Ответить
Развернуть ветку
Serge Bezborodov
Автор

John, как минимум есть необходимость разового краулинга=анализа чтобы понимать, все ли настроено корректно в техническом SEO, чтобы исправить ошибки, которые точно будут. И в дальнейшем любые действия в развитии SEO будут иметь бОльший эффект, когда сайт технически оптимизирован. Раз в квартал или раз в полгода рекомендуем делать повторный краулинг, отслеживая динамику основных показателей.

Ответить
Развернуть ветку
Антон Левин

Вы очень назойливы. Зарегистрировался, чтобы посмотреть, что как. Мне уже пришло от вас писем 20 и даже в скайп написали (который я не указывал). В письмах причем нет отписки... Отметил все как спам.

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Антон, отписаться есть и это наше must have! http://prntscr.com/nd2sob Видимо не досмотрели. По количеству писем в первый день - да, есть момент. Только переехали на новый mail provider, немного не разгребли еще. Уменьшим по количеству.

Ответить
Развернуть ветку
Антон Левин

Отписки нет. Таких писем у меня 5 в папке спам. Какие то может уже удалил

Ответить
Развернуть ветку
Serge Bezborodov
Автор

Ах, ах как я вам благодарен, Антон. Правда! Что нашли время с скинули скрин. Это письмо от продажника вне основной воронки писем, где конечно есть Unsubscribe. Выявили, наругали, поправили.

Ответить
Развернуть ветку
39 комментариев
Раскрывать всегда