Где они берут список сайтов для прохода? В гугл, яндекс ты идёшь и регистрируешь сайт. Эти брутфорсом сайты перебирают или что? Или это банальное зеркало гугла?
У поисковых систем есть "жуки". Это такие программы, которые делают запросы на сайты и собирают с них информацию. Если среди этой информации встречается ссылка, то они автоматически переходят по ней и скачивают уже от туда инфомацию. При этом они учитывают на сколько ссылка соответствует тематике предыдущего сайта.
Где они берут список сайтов для прохода? В гугл, яндекс ты идёшь и регистрируешь сайт.
Эти брутфорсом сайты перебирают или что? Или это банальное зеркало гугла?
Где они берут список сайтов для прохода?
У поисковых систем есть "жуки". Это такие программы, которые делают запросы на сайты и собирают с них информацию. Если среди этой информации встречается ссылка, то они автоматически переходят по ней и скачивают уже от туда инфомацию.
При этом они учитывают на сколько ссылка соответствует тематике предыдущего сайта.