Soft 404: пойди туда не знаю куда, принеси то, не знаю что

Сегодня расскажу про интересный случай решения неочевидной сеошной проблемы. Ошибка Soft 404 описана в документации, но реальное положение дел — то, как ошибка проявляла себя, отличалось от описанного в документации поведения. Это привело к тому, что решение растянулось на недели, а последствием стало выпадение нескольких продвигаемых страниц из индекса Google.

Надеюсь, эта статья будет для вас полезной и пригодится как минимум для того, чтобы не допустить возникновения данной ошибки.

В документации Google указано, что за этой ошибкой стоит отдача пользователю страницы без контента/с ошибкой и кодом ответа 200, причем боту страница отдается с контентом в исходном коде — https://support.google.com/webmasters/answer/7440203#soft_404.

Также Google дает некоторые рекомендации по устранению данной проблемы — https://developers.google.com/search/docs/crawling-indexing/http-network-errors?sjid=14836278297680420082-EU&visit_id=638630540881380096-67639067&rd=1&hl=ru#soft-404-errors. Однако в моем случае видимые симптомы, которые описываются в документации отсутствовали: при проверке страниц с ошибками через Search Console отрисовывался нормальный рендер, в кеше Google отображались полноценные страницы, код ответа страниц — 200. А страницы все равно с ошибкой 🤷‍♂

Все бы ничего, но через какое-то время из-за этой ошибки из индекса начали вываливаться целевые страницы, которые генерируют доход. И вот здесь пришлось попыхтеть.

В первую очередь были опробованы решения в лоб:

И..все мимо. Попросить разработчиков в сотый раз проверить SSR тоже не сработало (хотя порой бывает полезно).

Как же в итоге получилось решить проблему? Помогла наблюдательность и мое желание докопаться до сути. Проводя в сотый раз live test (Inspect any URL) в консоли Google, я заметил, что страница время от времени отрисовывается c блюром (затемнением).

Захожу на страницу с телефона, через пару секунд нежно приглушается свет экрана, а моему взору предстает модалка. И меня осеняет.

В случае с бизнесом, где я боролся с этой проблемой, приложение показывает лучшие, относительно веб версии продукта, метрики. И для того, чтобы сразу конвертить новых пользователей в установки приложения, им показывается модальный баннер в стиле: "Братишка, иди в прилу, там трава зеленее, солнце ярче и рейты интереснее". "И чо?", спросите вы. А то. Google время от времени ловил эту модалку и “делал” простой вывод: страница не имеет никакой ценности и держать её в индексе смысла нет, тк доступный пользователю контент не ней отсутствует (хотя в коде он конечно же присутствовал). И присваивал ей гордый статус soft 404.

В качестве теста решили оставить модалку только для пользователей, а для ботов отдавать страницу без всяких там попапов. И это сработало!!! В течение нескольких дней после отправки на переобход выпавших страниц они вернулись в индекс, а количество soft 404 страниц начало снижаться. Победа 💪

Можно сколько угодно прочитать постов про SEO, высшую математику и бескрайний космос, но есть проблемы, решение которых нигде не описано и даже примерно не понятно, куда копать. Решение именно таких проблем дает ощущение, что ты в этой жизни что-то да можешь.

По традиции, всем топов 🏆

******************************************************************************

Статья подготовлена автором канала SEO PM