Это не значит, что можно 1 раз найти эти 75 000 000 связей, а потом постоянно запускать парсер по ссылкам. Ассортимент меняется на сайте клиента и на сайтах конкурентов. Старые товары уходят, а новинки выходят на рынок. То, что вы видите в магазине сегодня, уже завтра будет выглядеть совсем по-другому: добавятся новые товары, какие-то карточки пропадут, ссылки поменяются. Происходит регулярное обновление ассортимента. 75 000 000 связей постоянно ломаются, появляются новые. Эти связи нужно каждый день проверять, реактуализировать и пытаться установить между ассортиментом клиента и товарами на сайтах конкурентов. Это огромный объем обработки данных. Количество связей и количество изменений, которое происходит на каждом из сайтов и в ассортименте заказчика — масштабно. Вручную это сделать невозможно. Это очень дорого, а главное — физически невозможно. Нельзя набрать столько людей и обеспечить такую динамику работ, чтобы предоставлять свежие данные каждое утро, собирая их в ночь.
Я сопоставляю товары при помощи нейросети на http://allrival.com