А бот гарантированно парсит все товары? Тебя не блокируют за постоянное обращение к сайту? Адекватные админы поставили бы блокировку по IP, ибо такой массированный парсинг не может пройти незамеченным. Например, в ЛаМода десятки тысяч товаров - то есть ты каждый день парсишь десятки тысяч страниц.