{"id":13475,"url":"\/distributions\/13475\/click?bit=1&hash=d02bc673eeef140c065ecff57c60581e1072387cdb99484f3b963fcb612a6c69","title":"\u041a\u0430\u043a \u0438 \u0437\u0430\u0447\u0435\u043c \u043f\u0440\u043e\u0434\u0430\u0432\u0430\u0442\u044c \u043e\u0431\u043b\u0438\u0433\u0430\u0446\u0438\u0438 \u0432 \u043a\u0440\u0438\u0437\u0438\u0441 ","buttonText":"","imageUuid":"","isPaidAndBannersEnabled":false}
SEO
Виктор Петров

robots.txt: настройки сканирования без бубна

Как показывает практика, база технического SEO – файл robots.txt, – многими вебмастерами не только заполняется неправильно, но и без понимания, зачем этот файл и как он работает. Статей на эту тему – объективно, тонны, но есть смысл расставить некоторые акценты.

Для чего вообще нужен robots.txt

В интернете можно найти много глупых советов по настройкам robots.txt. Люди советуют управлять с его помощью доступами, предлагают какие-то типовые шаблонные списки инструкций, пытаются что-то удалять таким образом из индекса.

robots.txt предназначен для единственной цели: управлять сканированием сайта на базе «Стандарта исключений для роботов». Это не инструмент для управления индексацией, и если вы попытаетесь управлять с его помощью попаданием ваших страниц в индекс, неизбежно получите ошибки и проблемы. И чем больше и сложнее ваш сайт – тем больше будет ошибок. Для управления индексацией используйте предназначенные для этого инструменты:

  • метатег robots

  • канонические адреса (canonical)

  • редиректы
  • ссылки

С его помощью можно указать поисковым роботам, какие URL не должны сканироваться, а какие сканировать можно и нужно. Это не команды: поисковые роботы могут проигнорировать запрещающие и разрешающие директивы, если получат более весомые сигналы это сделать. Простой пример: если на страницу ведёт достаточное количество ссылок, она появится в выдаче – хотя саму страницу поисковик скачивать и не будет.

Важно понимать: robots.txt – не закон для роботов, а просто список пожеланий с достаточно противоречивой историей. Несмотря на необязательность директив, например, гуглобот не станет сканировать ваш сайт, если сервер ответит технической ошибкой на запрос «роботс». И вместе с тем, легко проигнорирует запреты, если получит сигналы о важности какого-то URL в рамках сайта (наличие ссылок, настройка перенаправлений, постоянный пользовательский трафик и т.п.).

Что не нужно сканировать

  • Системные папки на сервере

  • Дубли: сортировки, UTM-метки, фильтры и прочие URL с параметрами

  • Страницы пользовательских сессий, результаты поиска по сайту, динамические URL
  • Служебные URL
  • Административная часть сайта

К чему должен быть обязательный доступ

  • Посадочные страницы

  • Служебные файлы, отвечающие за рендеринг страницы (js, css, шрифты, графика)

Особое внимание обращу на обязательное наличие разрешений на сканирование JS и CSS. Если поисковые системы не смогут отрисовать страницы сайта в том виде, в каком их получает посетитель-человек, это приведёт к следующим проблемам:

  • Поисковая система может счесть, что сайт не адаптирован для мобильных устройств.

  • Если важная часть контента выводится средствами JS, поисковая система просто не получит к нему доступа. В ряде случаев вместо контента ПС увидят обычную дырку или малую часть контента. В индекс такая страница едва ли попадёт, а если и попадёт – высоко ранжироваться не будет. В обоих случаях результатом будут сниженные позиции в поиске или полное их отсутствие: мусор в поисковой выдаче не нужен.

Зачем нужны отдельные секции для поисковых роботов

Оставлять единый блок директив для всех поисковых роботов – плохая идея, и вот почему.

Поисковые роботы Яндекса и Гугла в ряде случаев совершенно по-разному воспринимают директивы, потому и что и правила сканирования у них разные. Вот лишь несколько главных отличий.

  • Яндекс плохо работает с метатегами robots и каноническими адресами. Директивы в robots.txt для него важнее. Если вы разрешите ему сканировать то, что не должно попасть в индекс, он с большой степенью вероятности проигнорирует всё остальное, и может начать ранжировать вовсе не то, что вам надо. Скажем, нецелевую страницу пагинации - просто потому, что ему что-то не понравилось на целевой странице.

  • Яндекс использует директивы, которые не признаёт Google, например, Clean-param. Есть и директивы, которые понимает только гуглобот.
  • Хорошая идея - минимально блокировать сканирование для гуглобота, индексацией управляя только на уровне страницы. Таким образом Гугл будет лучше понимать ваш сайт, а алгоритмы там достаточно умные, чтобы и без вашего участия разобраться, что к чему. Если же по логам вы отмечаете ненормальную активность гуглобота там, где не надо – это повод подумать, что не так с сайтом.
  • Если гуглобот зайдёт на сайт и не сможет скачать robots.txt, он уйдёт. Яндекс-бот в такой придирчивости не замечен.

Общий принцип: открывайте для Яндекса по необходимости. Для Гугл – по необходимости закрывайте.

Для Яндекса вы должны понимать, что у вас должно быть в индексе. Для Гугл – наоборот, чего в индексе быть не должно.

Активность Яндекс-бота в рунете кратно превышает активность гуглобота, которая в принципе лимитирована. Это ещё одно условие, которое надо учитывать при составлении директив для robots.txt.

Можно ли блокировать на уровне robots.txt зловредных ботов и парсеры

Каждый сайт посещает множество роботов, и не все они вам нужны. Это могут быть роботы-парсеры, которые используют ваши конкуренты для извлечения информации, многочисленные SEO-сервисы, которые могут предоставлять информацию о вашем сайте конкурентам и т.п. Пользы для сайта от них нет, а нагрузку на сервер они создают. Стоит ли пытаться запрещать им сканирование в robots.txt?

Нет. Набор инструкций на базе стандарта исключений имеет рекомендательный характер, и фактически ограничить ничего не может. Если вы хотите заблокировать посторонних роботов – делать это надо на уровне сервера. Чаще всего в robots.txt пытаются заблокировать самых известных официальных ботов типа AhrefsBot, MJ12bot, Slurp, SMTBot, SemrushBot, DotBot, BLEXBot и т.п. Смысла это не имеет, но вы можете попробовать.

Что будет, если robots.txt не заполнен или заполнен неправильно

Недоступность файла с директивами по техническим причинам (ошибки 5**) может привести к тому, что гуглобот не станет сканировать сайт. Отсутствие же файла приведет к тому, что роботы будут обходить всё подряд и накидают в индекс тонны мусора. Чаще всего это не очень страшно. А вот ошибки в директивах могут привести к достаточно широкому спектру проблем. Вот типовые:

  • Поисковая система не сможет отрисовать адаптивную вёрстку вашего сайта, потому что не может получить доступ к файлам шаблона, и решит, что сайт не подходит для просмотра на смартфонах.

  • Часть контента или оформления не будет просканирована или учтена, если выводится она средствами JS, а доступ к ним заблокирован.
  • Если в robots.txt запрещено сканирование страниц, которые вы хотели бы удалить из индекса, деиндексированы они не будут – робот просто не увидит ваших указаний в рамках страницы, а в панели вебмастеров вы увидите соответствующее уведомление («Проиндексировано, несмотря на блокировку в файле robots.txt»).
  • Без запрета на сканирование определенных страниц (пользовательских, с параметрами) поисковая система будет вносить в индекс явный мусор, который через время будет выбрасывать. В случае Яндекса это может быть чревато переклейкой запросов на нецелевые страницы, рост страниц, рассматриваемых как некачественные, и как следствие – снижения доверия к сайту на уровне хоста.
Ошибки в настройках сканирования – и вот уже поисковому роботу недоступен целый блок, куда выводится портфолио веб-студии.

Простенькие сайты на той же «Тильде» чаще всего вообще не нуждаются в правках robots.txt – там разрешено всё, и нет никаких проблем ни с отрисовкой сайта, ни с попаданием в индекс поискового мусора. Интерпретаторы современных ПС довольно снисходительно относятся к возможным ошибкам, однако надеяться на это не стоит.

Основные правила

Заполнение файла директив должно соответствовать правилам, игнорирование которых может привести к критическим ошибкам сканирования и непредсказуемым багам обхода сайта. Перечислим основные.

  • Файл может называться только "robots.txt" с названием в нижнем регистре, быть в кодировке UTF-8 без BOM, и находиться в корне сайта.

  • Никакой кириллицы в robots.txt быть не должно! Если вы используете домен в зоне РФ или кириллические адреса – для настроек robots.txt используйте конвертацию таких URL в пуникод. Например, директива Sitemap в данном случае будет выглядеть примерно так:
    Sitemap: http://xn--80aswg.xn--p1ai/sitemap.xml
  • Каждая новая директива начинается с новой строки.
  • Блок директив для каждого User-agent отделяется от других блоков пустой строкой. Пустая строка между директивами обрывает список, после пустой строки начинается новый блок.
  • Все запрещающие или разрешающие директивы относятся только к боту, указанному для заданного блока.
  • Порядок размещения разрешающих и запрещающих директив особого значения не имеет. В настоящий момент это свойственно и роботам Яндекса, и Google.

Регулярные выражения и подстановочные знаки

Регулярные выражения и подстановочные знаки значительно упрощают процесс настройки сканирования. Официально они не поддерживаются стандартами, и тем не менее, понимают их все роботы. Ваша задача – составить регулярное выражение, блокирующее сканирование всего поискового мусора и разрешить необходимые URL, а не вносить туда десятки и даже сотни URL (как иногда пытаются делать). Отдельные URL, ненужные в выдаче по каким-то причинам, нужно просто запрещать индексировать метатегом.

Пример заполнения robots.txt в стиле "Знай наших" школы SEO-кунгфу "Раззудись плечо" - и это ещё не весь список

Для формирования регулярных выражений в рамках "роботс" используется всего два знака: * и $.

Знак * означает любую последовательность символов, "что угодно". Примеры.

User-agent: * Disallow: /*?

Это означает, что для любого робота (если для него нет отдельного набора директив) запрещено сканирование любых страниц фильтров.

User-agent: * Allow: */*.jpg*

Разрешено сканирование файлов JPG с любым названием в любой доступной папке сайта, включая кэшированные файлы.

Знак $ соответствует концу заданного URL. Те URL, что содержат какие-то знаки после знака $, могут быть просканированы. Пример:

User-agent: * Disallow: */*.pdf$

Эта директива запрещает сканировать любой файл в формате PDF в рамках сайта. Ещё один пример:

Disallow: */ofis$

Будет заблокирован URL https://сайт-ру/catalog/muzhchinam/ofis

Но URL https://сайт-ру/catalog/muzhchinam/ofis?sort=rate&page=1 будет доступен.

Как составить правильный robots.txt для своего сайта

Как уже было сказано выше, гуглобот не станет сканировать сайт, если не найдёт robots.txt, поэтому для начала можно использовать даже шаблонный «роботс» (как многие и поступают). Однако это явно не оптимальный вариант.

Чтобы составить правильный robots.txt для своего сайта, вы должны чётко понимать два момента:

  • Какова структура вашего сайта, и что поисковый робот должен обходить и понимать;

  • Как поисковый робот видит ваш сайт.

На первый вопрос вам поможет ответить семантическое ядро и структура сайта, созданная на его основе. Мы не будем разбирать здесь вопросы структурирования.

На второй же вопрос вам поможет ответить парсер сайта, способный эмулировать заданных поисковых роботов, показать наглядно, как поисковых робот отрисовывает страницу по актуальным правилам, справляется ли он с рендерингом адаптивной версии сайта и т.п. С этой целью я использую Screaming Frog SEO Spider. Думаю, эти возможности есть и у его конкурентов.

  • В настройках парсинга выбираем Spider - Extraction - HTML (отметить Store HTML и Store Rendered HTML). Там же - вкладка Rendering, выбрать в выпадающем списке JavaScript.

  • Потом в Configuration выбрать User-Agent эмуляцию интересующего робота. Я рекомендую начинать с Googlebot (Smartphone).
  • Хорошая практика – сразу же подключить API Search Console, чтобы выгрузить данные об индексации и оттуда. Для этого, разумеется, у вас должен быть такой доступ, такие данные о чужом сайте вытянуть не получится.
Полноценный рендеринг сайта позволит вам увидеть его глазами поискового робота

Можно начинать парсинг. По окончании запустите Crawl Analysis, и можно приступать к изучению результатов.

Поскольку нас в данном случае интересует список проблем с файлом robots.txt начнём с вкладки Rendered Page - там можно посмотреть, как видит робот выбранную страницу.

Если всё совсем плохо, вы увидите тлен и безнадёжность: отсутствие внятной вёрстки, пустые блоки, абсолютно нечитабельный контент.

Как вариант – контент может быть в основном доступен, просто без ожидаемого дизайна, дырками на месте картинок и т.п. Здесь же можно сразу посмотреть, что именно заблокировано и мешает роботу увидеть сайт так, как видите его вы. Если в списке заблокированных ресурсов вы видите js, css, файлы изображений, веб-шрифты – вносите их в список разрешающих директив.

В левом окне мы видим заблокированные папки, содержащие файлы шаблона. Их отсутствие приводит к тому, что робот видит сайт так, как показано в правом окне.

Внимательно изучите все страницы, которые так или иначе помечены как дубли – по тайтлам, по сходству контента и т.п. Вероятно, среди них действительно могут оказаться дубли и поисковый мусор. Дубли могут быть как чисто техническими (например, товары могут выводиться плиткой, а могут списком), а могут быть и качественными, когда полезного контента на странице недостаточно, и она похожа на другие страницы, такие же некачественные с точки зрения ПС. В данном случае вам предстоит решить, что делать: закрыть мусор от сканирования, запретить индексацию метатегом, или оперативно внести правки и отправить URL на переобход.

На следующем шаге вам предстоит изучить данные из панелей вебмастеров. Достаточно удобно и наглядно это реализовано в Яндекс-Вебмастере. Заходим в «Индексирование», «Страницы в поиске», вкладка «Исключенные» – и внимательно оцениваем URL, помеченные как неканонические, дубли, а также МПК. Среди них, как правило, большую часть представляют страницы сортировок, фильтров, пагинации и т.п. Их чаще всего можно смело вносить в список для запрета на сканирование.

Инструменты для тестирования

Любые внесенные правки должны проверяться с помощью соответствующих инструментов поисковых систем.

Принцип действия прост: вы видите актуальную кэшированную версию файла, анализатор, инструмент проверки заданных URL. Если URL заблокирован – вы увидите строку, которая его блокирует.

Заключение

Подытожим основные тезисы.

  • Файл robots.txt не предназначен для управления индексированием сайта. Он нужен для настроек сканирования.

  • Интерпретация синтаксиса файла и имеющиеся директивы зависят от конкретной поисковой системы. Не забывайте проверять, как именно заданная ПС обрабатывает ваши директивы с помощью соответствующих инструментов.
  • Проверяйте доступность файлов css, js, jpg, jpeg, gif, png, svg, woff и прочих, необходимых для правильного рендеринга страницы поисковой системой.
  • Подстановочные знаки и регулярные выражения могут значительно упростить процесс настройки, но ошибки в их использовании могут заблокировать доступ роботов к целым разделам сайта.
  • Запрет сканирования не означает деиндексацию. То, что ПС посчитает важным, будет внесено в индекс, если нет прямых запретов на уровне заголовков Meta Robots Tag или X-Robots-Tag.
  • Маленькие сайты с простой архитектурой могут обойтись без файла инструкций для роботов без ущерба для сканирования и индексации.

UPD. Для настроек индексирования сайта рекомендую использовать метатег Robots, HTTP-заголовок X-Robots-Tag, настройки тега Canonical, а также вполне традиционные средства – редиректы, sitemap.xml и т.п.

0
31 комментарий
Написать комментарий...
Артем Акулов

Яша часто подтупливает и кидает в индекс урлы с параметрами даже если есть каноникал.

Если стоит cloudflare или льется тьма трафа с utm в секции yandexbot надо дописать это:

Clean-param: __cf_chl_jschl_tk__ /*
Clean-param: __cf_chl_captcha_tk__ /*
Clean-param: __cf_chl_managed_tk__ /*
Clean-param: __cf_chl_tk /*
Clean-param: __cf_chl_f_tk /*
Clean-param: __cf_chl_rt_tk /*
Clean-param: utm

Ответить
Развернуть ветку
Valeratal Val

более того, яндекс возмущается и считает критической ошибкой наличие незакрытых гет-параметров. Хотя казалось бы, вот те каноникал, вот те карта сайта

Ответить
Развернуть ветку
Артем Акулов

мало ему, робот хочет по феншую

Ответить
Развернуть ветку
Рустам Кагарманов

каноникал как раз такие вообще не защищает от индексации, если вдруг будет много ссылок на страницы каноникала или она будет в карте сайта или случайно в переобход пустить, проиндексируется как миленька и еще все остальное с собой потянет. Закрывая в роботс страницы фильтрации прекрасно решается проблема с их индексацией. Автор конечно все правильно говорит, но это скорее как по учебнику, какая основная задумка роботс тхт, однако в реальной жизни люди используют роботс для того что бы запретить индексацию или выкинуть из индекса сразу кучу мусора и это вполне нормально.

Ответить
Развернуть ветку
Виктор Петров
Автор

Тут два нюанса.
Первый: я особо подчеркнул, что каждый конкретный случай требует анализа, разбора и своего решения. Чеклисты не катят, как и священные книги (даже если это мануалы самих ПС.
Второй - это истерический способ Яндекса сканировать и индексировать. Он сначала кидает в индекс, потом думает. Система апдейтов ранжирования иначе не умеет, к сожалению. Вот потому для Яндекса нужно открывать по необходимости. Канонический URL он увидит и учтёт, но спустя время.
Canonical - вообще тема для отдельной статьи, и не одной. Их, к сожалению, мало используют, и ещё реже - разумно. А ведь это, фактически, софт-301, и напортачить там можно очень некисло - и с 404-ми, и с деиндексацией тонны страниц, и с образованием комплексных удавок для краулеров.
Я за то, чтобы каждый инструмент и средство использовалось по месту и по назначению. Канадские лесорубы, к примеру, топорами бриться умеют - но всё ж лучше бритву использовать.

Ответить
Развернуть ветку
Сергей

Огромное спасибо! Недавно прилетело письмо с критической ошибкой от Веб-мастера. Стоит защита DDoS от CloudFlare.

Ответить
Развернуть ветку
Виктор Петров
Автор

Да, всё верно. С Clean-param - отдельная песня, тут тема на отдельную статейку по идее. Не хотел я отдельные директивы подробно разбирать, это лучше каким-то кейсом оформить, а у меня под рукой подходящего материала нет.

Ответить
Развернуть ветку
Oleg Dergilev

О! Годно, спасибо Виктор!
Про Clean можно еще отдельно...я вот часто закидываю в disallow все непонятное, если траф из Гугла на 70%, чтобы руками все не разбирать, когда за это не платят.
Может я и не прав.

Ответить
Развернуть ветку
Виктор Петров
Автор

Ну, я тоже Clean-param редко использую, необходимости нет чаще всего. Но если сайт активно рекламой двигается в Яндексе (да и вообще), там без этого никак.

Ответить
Развернуть ветку
Дмитрий Кузнецов

С чего вы взяли, что вы мне что-то должны? И что вы считаете, что мне непонятно?

Я лишь хочу узнать, как такой персонаж, который высмеивая других в комментариях, создает такой "экспертный" контент. Ну вот почитал я ваши комментарии в других статьях, которые не вы написали. У меня сложилось мнение, ну раз вы так позволяете себе дерзко общаться с другими, то, наверное, вы эксперт, вы крутой, вы же все знаете!

И открываешь статью от этого "эксперта", а там настройка файла robots.txt. Что там сказать в 2022 году? Что директива Host больше не поддерживается Яндексом? Хотя бы про клины бы написали, для чего их Яндекс ввел и почему лучше для GET-параметров их использовать вместо обычных Disallow.

Меня это больше всего веселит. Когда ты смеешься над другими, а по факту сам же и выдаешь какой-то пшик.

Ответить
Развернуть ветку
Виктор Петров
Автор

Дмитрий, мне вломы вам отвечать. Вы сами себя определили, продолжая анально полыхать на ровном месте. Вам к специалистам, не сюда.

Ответить
Развернуть ветку
Дмитрий Кузнецов

А вы себя. Строя из себя героя и оставляя какашки в других статьях, по факту выпустили абсолютно бесполезную инструкцию, которая уже сотни раз была обсосана в сети ранее. Теперь вы для меня пустослов, который и на словах и на деле Лев Толстой.

Ответить
Развернуть ветку
Кот Учёный

Что-то вы реально какой-то «токсичный». Хз, иногда наблюдаю Виктора в комментариях, часто поддерживает других ребят либо обоснованно аргументирует.
А что насчёт роботса и избитой темы - я сегодня искал как правильно посадить семена. Я абсолютный ноль в этом. И ни одной толковой статьи в выдаче не было.
Также и с гайдами для новичков. Виктор смог собрать то, что разбито по кусочкам везде

Ответить
Развернуть ветку
Виктор Петров
Автор

Скажем так: я в первую очередь постарался подытожить некоторые моменты для себя, выкинуть неважное и устаревшее. Плюс разобраться с некоторыми живучими мифами неизвестного происхождения.

Ответить
Развернуть ветку
Дмитрий Кузнецов

Это он токсичный, а не я. Я лишь показал его натуру. Любой сможет оставить какульку в любой статье как и он же. Для этого много ума не нужно. Если не видите его токсичность, то вот примеры:
1). "Странный подход. А ссылки добавить не судьба? Вы вроде как коммуникации с потенциальными клиентами налаживаете...

2). А вы точно всерьёз сеошите? Просто на "бандите" можно въехать в топ, с минимальными накрутками (или даже без них)...

3). Подачу неправильную выбрали. Если бы текст назывался "Как допинать страницу до топ-1" и рассматривалось...

И таких советов от "эксперта" миллион. Посмотрите сами в профиле.

А статей по теме настройки файла robots.txt и правда навалом. Наверное, нельзя ссылки кидать тут. Я презираю таких людей, которые могут только критиковать других, при этом из себя ничего не представляют.

Ответить
Развернуть ветку
Виктор Петров
Автор

Вы плаксивый какой-то. Это гормональное, видимо. Никогда не работали в мужском гетеросексуальном коллективе?

Ответить
Развернуть ветку
Дмитрий Кузнецов

Работал и таких как ты "вонючек" старался увольнять как можно скорее.

Ответить
Развернуть ветку
Виктор Петров
Автор

Дай я угадаю: мой капец какой токсичный комментарий довёл твоего бойфренда до депрессии, а ты эмпат? Ладно тогда.

Ответить
Развернуть ветку
Дмитрий Кузнецов

Откуда ты узнал?

Ответить
Развернуть ветку
Виктор Петров
Автор

Дедукция с исключением возможных причин неадеквата. Само по себе понятие "токсичность" как атрибут эмоционального ума, руководствующегося не логикой и фактами, а сиюминутными реакциями.
Зайди на любой профессиональный форум, хоть по сеошке, хоть по фотографии, хоть к погромистам, если хочешь узнать, что такое токсичность - чистая и незамутненная.

Ответить
Развернуть ветку
Дмитрий Кузнецов

Мне достаточно токсичности на VC. Ну как, приятно подобных "неадекватов" видеть у себя в комментариях? Почувствовал на своей шкуре?

Ответить
Развернуть ветку
Виктор Петров
Автор

Если объективно - мне это не мешает. Никак.
Давай я тебе для примера историю расскажу. Лет 40 назад я увлёкся фотографией. Книг нет, интернета нет, ничего нет. Снимаешь - прёшься. Без ансамбля. Сам бля. Один бля.
А потом появились цифровые камеры, форумы, снял - посмотрел - удалил. Но я попёрся на "Фотографер", он же - "Нонстоп". Место, где тебя для начала уебашивают доской, а потом объясняют, как так вышло-то. Аргументированно, на фактах.
И дальше ты либо ломаешься пополам, либо развиваешься. И я видел, как бабушки с "мыльницей" за
год превращались в суровых профи - потому что есть глазки, ручки и умение держать удар, усваивать информацию и биться.
А, и если ближе к теме. Вышел на люди - учись держать удар. Тысяча подумает про себя - а я скажу. Вслух. Не чтобы опустить, для этого другие слова есть. Но тут каждому своё, и sapienti sat.

Ответить
Развернуть ветку
Дмитрий Кузнецов

Ничего не понял, но очень интересно. Кулстори бро.

Ответить
Развернуть ветку
Ольга Маньшина

Когда только знакомилась с сеохой, задала вопрос на довольно ламповом сеошном форуме. Ответ был мудрым и исчерпывающим, но начинался с "Запомните для начала, что оптимизация - это SEO, а не ваше СЕО".
А вот на пхп-шном форуме знающие люди не рекомендовали спрашивать что-либо: "Там чайников сильно не любят. Лучше гуглить."
Про фото не знаю, но слышала, что аудиофилы тоже жёсткие )

Ответить
Развернуть ветку
Дмитрий Кузнецов

СЕО — действительно глаза ломает. :)

Ответить
Развернуть ветку
Дмитрий Кузнецов

Для кого и для чего эта статья? В сети миллион инструкций по корректному составлению файла robots.txt

Ответить
Развернуть ветку
Виктор Петров
Автор

Миллион-то миллион, только по итогам смотришь в robots - а там всё плохо. Статья и написана, чтобы хоть кто-то шаманский бубен убрал и чуть включил голову и хотя бы попытался посмотреть в один из важнейших для технички списков директив свежим взглядом.
Кстати, для кого этот комментарий, если сама статья с него же и начинается?

Ответить
Развернуть ветку
Дмитрий Кузнецов

Мне было интересно почитать статью от "эксперта", который в каждой статье считает нужным оставить свой токсичный комментарий, а в итоге увидел инструкцию по корректному составлению файла robots.txt. Поделитесь тогда чем-то годным, а не тем, что уже тысячу раз переписано. Если вы эксперт, то докажите это своими статьями, а не негативными комментариями, которые тошно читать.

Ответить
Развернуть ветку
Виктор Петров
Автор

Есть слова маркеры: "токсичный", "диванный", "мамкин", "душный" и т.п.
У вас есть возможность использовать чёрный список на vc, а писать я буду о том, что интересно в первую очередь мне, или о чём меня попросили интересующие меня люди.

Ответить
Развернуть ветку
Дмитрий Кузнецов

Спасибо, что подсказали про черный список!

Учтите, что есть люди, которым приходится читать ваши комментарии, особенно, когда вы нагнетаете токсичную или душную атмосферу в комментариях. Вы же можете своими комментариями очернять репутацию других авторов, при этом сами же пишите откровенно говоря информацию для новичков.

Когда увидел в авторстве вас, ожидал, что, наверное, будет супер экспертная и оригинальная статья, раз вы так часто "отжигаете" в комментариях, а в итоге вот это.

Ответить
Развернуть ветку
Виктор Петров
Автор

Вы так упираете на "экспертность". Ясно, что у вас на этом пригорает, но я нигде не говорю, что я "эксперт". Корреляцию между "отжигаете" и вашим недовольством мои контентом тоже не могу отследить. В чём вы её видите? И почему она вообще должна быть?
И уясните себе, что ли. Вам никто ничего не должен. Если вам что-то непонятно и не нравится - это не значит, что это имеет значение для кого-то ещё.
https://www.youtube.com/watch?v=dpbjAT2bJd8

Ответить
Развернуть ветку
Читать все 31 комментарий
null