Ну во-первых - забудьте вы уже о robots.txt, это просто список ваших пожеланий к роботу. Он их проигнорирует, если посчитает, что это надо. Если сайт в разработке - блокайте лучше через мета роботс, а ещё лучше - тупо пароль на директорию, физически.
Во-вторых, напомню про возможную разницу в версиях ip. Описаны случаи, когда один сайт был доступен в разных версиях по разным ip (ipv4 и ipv6) - владелец работал с одной версией сайта, роботы получали другую, на тестовом серваке как раз. Проверьте, может и тут такая история.
Хотя взлом исключать никогда нельзя, как и появления левого зеркала - это старая техника отжима позиций, хотя и затратная, да и не о новом сайте, которого пока даже не должно быть в индексе.