Что такое индексация сайта и как её проверить
Чем бы вы ни занимались, интернет-магазином, корпоративным порталом или лендингом, сделать сайт — лишь полдела. Дальше начинается самое интересное — продвижение. Индексация в этом деле — первый шаг на пути к топу поисковой выдачи. Рассказываем о том, как она происходит, как её проверить и ускорить.
Disallow не лучшая идея. Это всего лишь пожелание, не прямая директива. Google так и вовсе на неё традиционно кладёт, если у него есть более весомые доводы индексировать страницу - например, внешние ссылки, трафик и всё такое. Яндекс в этом плане тоже стал вести себя очень странно. noindex - наше всё.