Для начала необходимо найти IP адреса, и диапазоны ip адресов ботов Яндекс, и Google. Они доступны в паблике. Пользуйтесь GPT, они помогут и расскажут как с ними работать! Эти списки можно найти просто они есть в паблике. Google официально даёт 3 json файла, со своими ботами, ну а Яндекс боты, этот список подготовил какой то энтузиаст как любят говорить и писать, и выложил в своём блоге! Далее нужно написать логику: Разрешаю вход на сайт по прямой ссылке только тем, чей ip адрес находится в вайт листе, ну и с диапазонами там немножко нужно переписать логику так как в них может быть очень много ip адресов! Это всё можно сделать в несколько строк кода. GPT - знает! Таким образом, вы даёте полный доступ к сайту поисковым ботам, что бы сайт индексировался корректно, при этом блокирует всем остальным доступ по прямой ссылке! Если у Вас помимо органического трафика есть другой трафик, по реф ссылкам, можете отдельно написать функцию, и записать туда все ваши реф ссылки, телеграмы, вк, вацапы, и так далее, и дать всем права на переход по реферальным ссылкам! В самой функции можно написать логику что бы он читал файлы например google ботов, указать путь к файлам, потом, для яндекса так же указать путь к файлу с ip. ну и пусть чекает каждый ip который переходит по прямой ссылке, все другие варианты входа на сайт не проверять!