Дмитрий Шахов, «Ремарка»: «Яндекс» уже сам не знает, как работает его поиск

ЦП поговорил с Дмитрием Шаховым, известным SEO-специалистом, основателем студии «Ремарка» и автором книги «Исповедь задрота». Шахов рассказал о состоянии российского SEO в 2015 году, инструментах, необходимых каждому вебмастеру, и постарался приоткрыть завесу тайны над тем, как работают алгоритмы «Яндекса».

Интервью проводилось при поддержке сервиса «Топвизор».

Константин Панфилов: «Ремарка» сейчас — это ваша основная деятельность?

Дмитрий Шахов: Да, «Ремарка» — это веб-студия. Мы занимаемся продвижением сайтов и немножко созданием, но от последнего мы практически отказались.

Почему?

Мы находимся в Калининграде. На московский рынок нам не удалось пробиться с разработкой, потому что необходимо присутствие для согласования планов с заказчиком, и усложняется поиск клиентов, поэтому отказались от этого дела, делаем только стандартные сайты под нужды поискового продвижения.

Но и, кроме того, продвижение — это более прогнозируемый бизнес в силу абонентской платы. С разработкой ты вынужден постоянно искать заказы, а с региональными клиентами, готовыми платить не более 30–50 тысяч за сайт, сильно сыт не будешь.

Это как-то с кризисом связано или нет?

Нет. Это с кризисом никак не связано. Разработку мы потихонечку убивали с 2008 года. И потом, когда у меня было два серьёзных провала по срокам, я принял для себя решение, что не имеет смысла дальше это продолжать. Кроме того, в тот момент продвижение уже кормило разработку, а не наоборот.

Продолжая обсуждение, чем я еще занимаюсь — у моей супруги есть турфирма. Мы вдвоем владеем ей. Занимается бронированием. Это примерно как «Островок», только масштабами, конечно, поменьше. У нас всего 14 городов и 300 гостиниц.

В России?

В России, да. Это также не столицы, не Москва и не Петербург. Началось это все с нашего Балтийского побережья, затем добавилось несколько городов-милионников центральной России. Естественно, я занимаюсь продвижением, а она, как специалист, занимается бронированием этих гостиниц.

Также у нас есть еще прокат инструментов, но это такой, мелкий бизнес, локальный. Интересно то, что у нас там 80% клиентов приходит через интернет. То есть мы практически не даем никакой рекламы. Довольствуемся, в основном, результатами поискового продвижения, которое делаем сами себе.

Прямо с поиска? Это хорошая рекомендация.

Еще я занимаюсь обучением начинающих продвижению сайтов. Это приносит небольшой доход — примерно 20% от оборота веб-студии. Двухмесячный курс. На каждый запуск набираем где-то 20-30 человек и их обучаем, в основном это владельцы сайтов и начинающие оптимизаторы. Подавляющее большинство — это владельцы веб-сайтов, которые хотят либо разобраться, как самим продвигать, либо понять, что им втюхивают специалисты по продвижению сайтов.

Если взять структуру выручки студии, то какое место в ней продвижение занимает?

Если сравнивать с долей от разработки, то практически 100%. На данный момент мы делаем только типовые сайты. Просто допиливаем шаблон уже под заказчика, и на выручке это практически никак не отражается, там 5-10% максимум в некоторые месяцы. Само продвижение внутри делится на поисковое продвижение, работу с контекстной рекламой и социальными сетями. Хотим запустить работу с репутацией еще, но руки не доходят. Основной объем в этой структуре приходится на поисковое продвижение — около 70% от всех поступлений.

Давайте попробуем как-то большую такую картину охватить – что изменилось в SEO за последний год и что, как вы думаете, изменится в следующем?

Начать, наверное, надо с начала прошлого года, когда Садовский объявил об отключении ссылок, и это повлекло достаточно глобальные изменения на рынке.

Сначала все кинулись искать то, что заменит ссылки. Работающие студии бросились увещевать клиентов, что ссылки еще работают, потому что было немало обращений по поводу «что теперь будет» и «зачем нам платить за то, что не работает». Ссылки являются (по крайней мере, являлись) в большинстве студий основным крючком для удержания клиентов, для обеспечения абонентской платы. Клиенты были замотивированы на продолжение сотрудничества в основном по той причине, что на сайт закупались какие-то объемы ссылок, и клиент боялся уйти, потому что опасался обрушения позиций после снятия этих ссылок оптимизатором из-за неоплаты.

Когда прозвучало объявление Садовского, соответственно, страх клиентов сильно уменьшился, и пришлось вводить какие-то новые «крючки» для продаж, чтобы удерживать клиента. Кому-то удалось переориентировать бизнес на новые крючки, которыми могли стать поведенческие и коммерческие факторы. Все кинулись искать какую-то новую серебряную пулю, за которую нужно ежемесячно платить.

Но, по факту, в итоге все свелось к тому, что студии стали больше заниматься текстовыми факторами, то есть работой с контентом на сайте. К концу года, в принципе, картина устоялась, все поняли, что никаких новых крючков не появится. В основном все студии перешли на работу с контентом в том или ином виде: расширению семантики — увеличению количества запросов, связанных с сайтом, по которым сайт оптимизируется по написанию новых текстов, по переписыванию старых текстов и так далее.

Базовый тренд на рынке сейчас — это углубленная работа с текстовыми факторами во всех смыслах этого слова. От переписывания заголовков статей до переписывания самих текстов статей, создания новых статей на сайте, страниц на сайте под новые ключи и так далее. Этот тренд, в принципе, продолжается.

Сейчас потихонечку проявляется более ярко другой тренд — это работа с непоисковым трафиком. Имеется в виду, в частности, трафик с социальных сетей, трафик с каких-то более популярных ресурсов. То есть работа с так называемым PR.

На Западе известно, что если ресурс не имеет непоискового трафика, то его результаты в поиске Google могут быть весьма незначительны, поэтому при продвижении на Запад очень много места и времени уделяется именно PR, работе c гостевыми статьями, с релизами и так далее.

В России это пока не так ярко проявляется, но есть, конечно, компании по продвижению, которые стараются заниматься этим комплексно и активно для своих клиентов.

Что нужно будет уметь и знать человеку, чтобы добиться успеха в продвижении в следующем году?

Есть универсальный совет, который прописан в поисковой лицензии «Яндекса» — делайте хорошие сайты. Но, наверное, если как-то расшифровать эту мысль — что же на сегодня подразумевается под хорошими сайтами — это сайты, которые полезны пользователю. На которых пользователи, скажем так, совершают действия, которые можно охарактеризовать, как полезные.

Если это магазин, то полезное действие — совершение покупки, если это информационный сайт, то посещение нескольких статей, а не одной, комментирование материала, прокрутка статьи до конца. Все эти вещи на сегодня меряются поиском, и меряются достаточно неплохо. Этому помогает установка поисковых инструментов на сайт, в частности, «Яндекс.Метрики» и Google Analytics. Это позволяет собирать огромные данные и достаточно точно определять поведение пользователя на сайте и даже предугадывать какие-то моменты, которые с ним связаны. Про «Крипту» знаете?

Да.

Это результат обработки огромных массивов данных, собранных при посещении поиска и сайтов. Поэтому основным советом, конечно, будет такой: нужно создавать контент, который решает проблему пользователя. Этот, как оказалось, достаточно важный момент, до сих пор неизвестен многим, потому что где-то когда-то кто-то сказал, что нужно делать тексты для поиска, и в итоге огромное количество статей, написанных на сайтах (особенно на корпоративных), никаких проблем пользователя не решает, а озвучивает и иллюстрирует набор ключевых фраз. Берутся ключевые фразы и под них создается некий текст, который ничего не решает, но окружает их какими-то дополнительными словами.

Такие тексты на сегодня, в принципе, неплохо поиском распознаются, и эти сайты, как правило, низко ранжируются, особенно в последнее время. И наоборот, есть сайты, которым удается решать проблемы пользователя, но они начинают поиском оцениваться еще на подлете, даже до возникновения истинной популярности таких текстов.

В моей практике был пример, когда владелец сайта сам все статьи на своем сайте написал, но одну статью он написал настолько хорошо, что «Яндекс» премировал его первой строчкой в выдаче по фразе «бензонасосы». Причем он совершенно был далек от продвижения сайта, его сайт — настоящий кошмар оптимизатора. Но он профессионально разобрал тему, связанную с насосами, и «Яндексу» это понравилось.

Кстати, насчет «Яндекса» — мне недавно написали ребята из какой-то студии и сказали, что им предлагали купить некую инсайдерскую информацию из «Яндекса» по поводу того, как они формируют топ выдачи. То есть это какая-то, видимо, «украденная» информация, которую можно использовать в своих целях для оптимизации. «Яндекс» говорит, что это, конечно, неправда, но вот мне было интересно ваше мнение знать. Бывает такое?

Ну, постоянно кто-то что-то предлагает такое инсайдерское, но на самом деле в среде тех, кого относят к гуру в мире продвижения, бытует такое мнение (не мнение скорей, а байка), что «Яндекс» уже сам не знает, как работает «Яндекс». И сотрудники «Яндекса» раньше стойко игнорировали конференции по SEO, но теперь фактически на каждой крупной конференции обязательно присутствуют. Не то чтобы инкогнито, но приезжают они все неофициально, просто чтобы послушать, что говорят.

Ходит такая байка, что они приезжают для того, чтобы разобраться, как в итоге сам поиск работает. Он на сегодня основан на машинном обучении, то есть, конечно, там присутствуют какие-то начальные алгоритмы, но дальше начинает работать статистика, аналитика. И факторов уже столько, что подкрутка одного из них начинает действовать на десятки, может быть, даже сотни других, и в итоге результат может быть совсем неожиданным на выходе.

Поэтому слив каких-то там алгоритмов в принципе невозможен, потому что как можно слить статистику? Это терабайты данных, даже петабайты и там уже нет формул в том виде, в котором мы их там представляли вначале. Там насчитана некая матрица. На ее основе составлен паттерн, и дальше с этим паттерном сравнивают все сайты, которые попадают в «Яндекс» на изучение. Там они оцениваются по 1000 параметров.

Поэтому о каких-то там формулах вообще на сегодня говорить бессмысленно. Даже если это будет слито, вообще не факт, что это приведет к какому-то результату после внедрения. Сейчас всё продвижение, все основные исследования делаются примерно следующим образом: подается сигнал на вход, оценивается результат на выходе в виде ранжирования, и дальше уже начинают на этой основе строиться какие-то теории.

Переставим ключевое слово на два слова вперед в предложении, посмотрим, какой результат на выходе. Если результат улучшился, то значит говорим, что это работает. Вот примерно такое сегодня продвижение. Те, кто не знаком с основами статистики — им тяжело. Я-то как раз занимался теоретической физикой в университете. Моя дипломная работа была посвящена исследованию распределения частиц в столбе воздуха.

Мы насчитали огромное количество цифр, то есть порядка миллиона данных на основе одних уравнений, а потом на основе этой матрицы строили другие уравнения. И если бы кто-то получил в свои руки начальные уравнения, он вряд ли смог бы сделать те выводы, которые мы получали в конце этой работы. Поэтому слив алгоритмов «Яндекса» существенной пользы не принесет, разве что удастся найти какую-то дырку для влияния на один-два фактора ранжирования.

И кроме того, списки факторов ходят по рукам уже давно. Но сейчас менять какой-то один фактор, в общем-то, практически бессмысленно. Это было актуально в 2007–2008 годах, даже в 2009, когда можно было купить пару сотен ссылок и зайти в топ практически по любой фразе. На сегодня это не работает, сегодня каждый фактор связан с десятками других факторов. Поэтому влияние на один из них не обязательно сыграет в другом случае.

Возьмём поведенческие факторы — человек выполняет поисковый запрос и далее кликает на карточку сайта и переходит на этот сайт. Это мощный фактор, влияющий на ранжирование, но не всегда он идет в плюс. В некоторых случаях необходим еще возврат обратно на выдачу. Это будет считаться, скажем так, более положительным результатом. В частности, с этим связана неустойчивость результатов по накрутке поведенческих факторов. Потому что они накручиваются механическим путем, то есть просто фактически по одному паттерну, и это легко достаточно отлавливается. Поэтому о поведенческих факторах больше говорят, как о неком плацебо на рынке.

То есть рынок накрутки поведенческих сейчас уже актуальность потерял, но альтернативы ему все еще не отыскалось никакой?

Поведенческие факторы оказывают влияние на ранжирование. Но, если углубляться в понимание, что такое поведенческий фактор, то все не так однозначно. Пользователь должен перейти на сайт, там он должен как минимум что-то сделать. Если там установлена метрика «Яндекса», то складывается какой-то паттерн поведений, который должен совпасть с положительным.

Компания, которая занимается накруткой поведенческих, не обязательно корректно угадает этот паттерн. Подобная шаблонная накрутка, как правило, достаточно легко вылавливается, то есть она не пытается рандомизировать поведение тех людей, которые переходят на сайт, давая им какие-то разные задания, пытаясь как-то смешать сигнал, чтобы в нем была одна какая-то положительная составляющая, влияющая на ранжирование.

Ещё на таких биржах не очень большое количество пользователей — в самой большой из них порядка 70 тысяч человек. Если их разбить на города, то получится совсем маленький набор, и в каждой накрутке окажутся люди из других наборов. То есть на, условно, сайт по Forex будут приходить школьники, которые одновременно посещают порносайты и одновременно накручивают сайты по покеру. «Яндекс» это всё видит, и такие пользователи будут просто вычёркиваться из учёта. Поэтому до сих пор ведется спор на рынке, учитывается ли накрутка поведенческих факторов в принципе, или это просто плацебо.

Есть, конечно, кейсы с прорывными скачками, но все прекрасно понимают, что на каждый удачный кейс может быть зашито огромное количество неудач, а может быть, это вообще случайность.

Какими сервисами и инструментами вы пользуетесь каждый день, как оптимизатор?

Самый важный инструмент для оптимизатора — это Excel, потому что нужно анализировать огромное количество поступающей информации, анализировать то, что попадает в «Метрику» и Analytics, а также информацию из разных парсеров. Самый популярный парсер — это Key Collector, разрабатываемый Александром Люстиком. Это один из старейших инструментов на рынке, постоянно развивающийся. Но он десктопный, у него нет облачной версии, и это создает определенные проблемы при парсинге данных.

Когда нужны огромные объемы данных, то приходится либо запасаться большими лимитами «Яндекса», либо прокси, либо покупать доступ к работе с анти-капчей – это у нас Antigate, Rucaptcha, там тоже это все не бесплатно. Но даже с подключением всех этих дополнительных приспособлений Key Collector может большие ядра парсить сутками. Поэтому понятно, что получили развитие облачные сервисы по парсингу данных, в частности, «Топвизор».

Это достаточно молодой сервис, но при этом динамично развивающийся. Приятно отметить, что они слушают потребности рынка, регулярно привлекают специалистов для улучшения инструментов. Прогресс очевиден, и на сегодня ядра, например, в 20-50 тысяч ключей можно в «Топвизоре» напарсить за несколько минут, максимум за полчаса. В Key Collector такой же объем данных может парситься часов 10, 20.

Это ускоряет работу оптимизатора в разы. Кроме того, не нужно заботиться о таких дополнительных средствах, как анти-капча. Минусы — относительно высокая стоимость. То есть если с тем же Key Collector пусть долго, но можно собрать информацию по 100 тысячам ключей практически бесплатно, за цену порядка 100 долларов, то в сервисах, подобных «Товизору», это обойдется в более серьезную сумму. Но для ядер ограниченной емкости, порядка 10-20 тысяч ключей, это, в принципе, недорого все обходится.

Есть и новые инструменты. Вот я говорил, что базовый тренд 2014 года, который переходит в 2015 год — это работа с текстовыми факторами и расширение семантики. Соответственно, ядра из 10-30 запросов ушли в прошлое, поэтому стали появляться повышенные требования к количеству ключей. Среднее ядро даже для корпоративного сайта на сегодня — это 300-500 ключей, а так стараются догнать даже для небольших сайтов до тысячи и нескольких тысяч ключей, а для e-commerce, то есть для интернет-магазинов – это уже десятки, даже сотни тысяч ключей.

Соответственно, Key Collector парсит такие объемы достаточно долго. Вообще любыми десктопными программами, где вы должны задействовать свой собственный компьютер и канал интернета, засвечивать постоянно свой IP-шник, можно легко забанить собственный компьютер в том же Google на несколько часов, и вы вообще никаких данных получать не будете. Облачные сервисы тут приходят на помощь, и поэтому они такими бешеными темпами стали появляться на рынке. Как только появились потребности в огромных ядрах — стали появляться такие сервисы.

Сейчас их на рынке достаточно много — разных, на любой вкус, на любой цвет, все они примерно находятся в одной ценовой категории, есть, может быть, конечно, разница в несколько раз, но на тех объемах, которые в среднем для сайта используются — существенного отличия в цене нет. Парсинг 10 тысяч будет стоить в том же «Топвизоре» примерно по пять копеек за проверку одного ключа.

Если можно, давайте сделаем уклон в управление и планирование – вероятно, у вас есть какие-то ноу-хау, о которых мы еще не знаем?

Могу сказать, что очень много веб-студий пользуется сервисом Bitrix24 для планирования. Как-то очень быстро зашел этот сервис на рынок, вытеснил практически «Мегаплан», предложил достаточно большое количество инструментов внутри. Я сам знаком с Сергеем Рыжиковым. Его любимая игрушка в Bitrix24 — это телефония. В веб-студиях, которые занимаются продвижением, гораздо больше времени уделяется именно планированию. Директорам нравится, как там устроена система работы с лидами, с планированием задач и так далее. Мне показывали, как это все устроено. Если раньше такие вещи писались, например, на Drupal под себя, то сейчас очень многие перешли на Bitrix24 и прошли этап интеграции достаточно легко, и сейчас уже даже не представляют себе, как они раньше до этого работали — без инструментов или с другими инструментами.

У каждого, конечно, какие-то свои дополнительные штуки есть. Много пишут под себя, сейчас студии стали держать в штате постоянного программиста, чтобы какие-то вещи допиливать, писать какие-то свои уникальные парсеры.

Ещё можно вспомнить сервис проверки ссылок — наверное, самый популярный — это Ahrefs. Это сервис сбора ссылочной массы со всего мира, со всех сайтов, и оттуда можно получить нарезки по любым сайтам, которые нам нужны. Анализ видимости конкурентов — это semrush.com, spywords.ru, megaindex.ru. Про биржи, наверное, говорить не буду — это не совсем инструмент.

Хотя, наверное, стоит сказать про sape.ru, где доля у Абрамовича есть через какой-то из его инвестфондов. Sape.ru — это целый холдинг с массой партнерских проектов, которые предлагают уже все подряд, и они в этом году планируют запустить агрегатор по ретаргетингу, в прошлом году у них шли тесты. В России еще нет подобных толковых агрегаторов, а западные, которые зашли сюда, не очень хорошо понимают российские реалии — вот Sape делает первый российский. Можете обратиться к Константину Леоновичу — он вам подробно расскажет.

Вы говорите, что для студий, которые занимаются поисковым продвижением, главный инструмент привлечения клиентов — это само поисковое продвижение. А что на втором месте идет?

Если мы обратимся к статистике, где больше зарабатывается сегодня денег в интернет-маркетинге, то на первом месте стоит контекстная реклама. Последние данные, которые приводились — в январе на какой-то конференции — оборот контекстной рекламы составляет порядка 57 миллиардов рублей, а оборот поискового продвижения — порядка 10-11 миллиардов рублей в год. Поэтому можно догадаться, чем занимаются студии, которые работают с поисковым продвижением.

Объем клиентов, которые параллельно заказывают и поисковое продвижение, и контекст, существенно увеличился в 2014 году, то есть чтобы перекрывать полностью поиск, клиент уже не пытается разделить яйца на разные корзины, или заниматься этим сам, и передает оба контракта в одну студию. Конечно, есть студии, которые занимаются исключительно контекстом. Есть, например, eLama — агрегатор контекстной рекламы, который агрегирует множество мелких игроков, и является, наверное, одним из самых крупных игроков на рынке контекстной рекламы.

Но, в то же время, много веб-студий, которые раньше занимались исключительно поисковым продвижением, стали предлагать параллельно еще и контекст, и социальное продвижение.

Таким образом, идет тенденция к тому, чтобы предлагать клиенту комплекс услуг сразу, чтобы вести его и по контексту, и в социальных сетях какие-то паблики делать и заполнять, и, возможно, оказывать услуги по размещению релизов на инфо-порталах различных — это все сводится воедино, начинает предлагаться в комплексе. Это процесс такой постепенный, поэтому здесь у кого как — у кого доли выравниваться начинают, у кого-то (например, как у нас) поисковое продвижение — основной объем, пока у нас контекст где-то 25% оборота занимает. Понятно, кто из какого рынка пришел — тот рынок пока и превалирует.

Резонно. У меня есть вопрос для новичков: скажем, я — предприниматель, у меня есть сайт. Какие минимальные шаги я могу предпринять для какой-то начальной оптимизации? Скажем, мы у себя пробовали делать какие-то теги с такими словами или фразами, которые, как нам казалось, люди будут искать, но это не помогло вообще никак. Хотя, казалось бы, такой прием на поверхности лежит.

Да, есть такая методика — создание фильтров, она на каких-то сайтах работает. Наверное потому, что там есть оптимизатор, который этим делом занимается. То есть когда пытаются такими вещами заниматься люди, которые не понимают, как работают поисковые алгоритмы, у них, как правило, получается не очень хорошо, иногда даже спамно.

То есть даже пытаться не стоит, если не умеешь?

Я бы в качестве первого шага заказал бы сторонний аудит — не одного специалиста, а нескольких. Любой качественный аудит должен заканчиваться не только озвучиванием ошибок, но и рекомендациями, как их исправить. Либо взять консультацию, тоже не у одного специалиста, а у нескольких, для того, чтобы сравнить их.

Регулярно даже инфопорталы обращаются, например — ко мне (я за себя только могу отвечать в данном случае), и какие-то консультации проводим, оказываем, находим какие-то решения, прописываем эти рекомендации для программиста, а дальше уже портал своими силами это дело внедряет. Результаты, как правило, ободряющие получаются. То есть не нужно смущаться — закажите консультацию, это, как правило, не так дорого, разово, получить вводные данные, а дальше уже думать, что с этим делать. Я бы начал с этого.

Необязательно нанимать оптимизаторов в штат, чтобы сайт продвинуть — достаточно начать с какой-то консультации, а потом уже решить, будете ли это вы в принципе делать, или сосредоточитесь на прокачке непоискового трафика. Я, например, сотрудничал с одним порталом, достаточно крупным по нашим региональным меркам, но далеко не все рекомендации были внедрены — они сосредоточились на трафике с новостных агрегаторов, и, в принципе, это принесло им достаточно хороший результат: они сумели поднять посещаемость на 50% исключительно за счет этого.

А те рекомендации, которые я им давал по поисковому, не были внедрены, хотя, наверное, они бы принесли какой-то результат, но он либо был бы более скромным, либо вообще, может быть, никакого не было бы результата. А другой портал, где эти рекомендации были внедрены — там прирост по объему количества поисковых фраз, по которым пользователи заходят в месяц на сайт, составил 30-50%. Удалось создать достаточно большое количество точек входа дополнительных, и они привлекли дополнительный поисковый трафик. Поэтому, от портала к порталу, кто как использует.

Есть такая услуга — консультирование бизнеса. Один консультант по бизнесу мне рассказывал следующее: за всю его работу (он был один из старейших консультантов в городе) не был внедрен ни один из его аудитов. Ни один. Он везде брал достаточно большие деньги за это дело, собственник это смотрел, кивал головой, и нигде это не было ни разу внедрено. Примерно то же самое бывает и с сайтами. Поэтому, прежде чем делать какое-то более-менее серьезное продвижение, стоит заказать разовую консультацию, а потом принимать решение — так вы меньше денег потеряете.

У меня, пожалуй, один вопрос остался — на чем вы ездите?

Я панически боюсь руля. Получил права в 17 лет, с правом использования в 18, и они у меня пролежали 10 лет, потом я их не стал продлевать. Я пользуюсь машиной с водителем, либо на такси. Поскольку офис у меня располагается в том же доме, где я живу, мне никуда ездить не надо, поэтому у меня автомобиля нет никакого. Мой автомобиль — это такси.

Калининград — очень маленький город, здесь шаговая доступность, и, скажем так, не имеет смысла иметь автомобиль, по крайней мере, в моем случае. Можно, конечно, что-то купить, чтобы стояло во дворе, но вместо этого я купил себе дом.

Интервью проводилось при поддержке сервиса «Топвизор».