Są mechanizmy cache
, więc dane (wszystkie wtedy) sobie skanujesz np. o 2 w nocy, przez parę godzin powinno się zebrać. Tylko pewnie dostaniesz bana na firewallach jak będziesz robił zbyt dużo zapytań. W każdym razie - ta strona jak i inne podobne (np. ceneo czy skąpiec) wszystkie te dane ma w kopii u siebie!
Pobieranie danych przez cURL też będzie nieefektowne. Mała zmiana na jakiejś stronie i Twój mechanizm się sypie.
Metoda z cURLem to także pareset razy więcej przesłanych danych.
Tu na pewno są w użyciu API, jedyne pytanie - czy udostępniają je strony zewnętrzne dla serwisów zbierających treści, czy odwrotnie - serwis zbierający treści udostępnia swoje API stronom partnerskim i one już zajmują się przesyłaniem odpowiednich danych? Ale tego możesz się dowiedzieć tylko od jednej ze stron, nie od ludzi z forum ;)