Представьте, что вы зашли на сайт с конкретной целью — быстро зайти в уже собранную заранее корзину и оформить заказ. Как только на экране появляется нужная иконка, вы кликаете на нее. Но в это время макет продолжает загружаться, и за долю секунды на месте иконки корзины появляется ссылка на другой раздел. В итоге вы попадаете не туда. Такие, на первый взгляд, незначительные мелочи портят общее впечатление от всего веб-ресурса.
Упущено вот что:
если вы не позволили поисковым роботам доступа к ресурсам, формирующим адаптивный шаблон, всё прочее - бесполезно. Не сможет правильно отрисовать - решит, что сайт не адаптирован для мобайл.
И выяснить это можно только эмуляцией краулера по заданным правилам. Ну, или ждать, когда консоль вебмастера сообщит, что шрифт слишком мелкий, таблицы рвут вёрстку и т.п.