Zbieranie danych z innych stron

0

Witam,

Czy styczneliście z tematem zbierania danych z innych stron, przykładowo strona jak http://www.trivago.pl ma dane z 159 innych stron.
W jakis sposób działa taki serwis ? W jaki sposób takie coś osiągnąć i jak sie do tego zabrać aby osiągnąć podobną strone do http://www.trivago.pl

Proszę o odpowiedź.

Pozdrawiam Serdecznie.

0

Na 99,9999% strony partnerskie udostępniają swoje API (a może jest jakieś jedno API nawet, z którego korzystają wszystkie strony?)

http://pl.wikipedia.org/wiki/Application_Programming_Interface
http://en.wikipedia.org/wiki/Application_programming_interface

0

No właśnie a inni też podpowiadają cURL, ale czy to było by efektywne zbierać dane z 159 stron naraz ? na pewno by tak szybko niewyszukiwało...

0

Są mechanizmy cache, więc dane (wszystkie wtedy) sobie skanujesz np. o 2 w nocy, przez parę godzin powinno się zebrać. Tylko pewnie dostaniesz bana na firewallach jak będziesz robił zbyt dużo zapytań. W każdym razie - ta strona jak i inne podobne (np. ceneo czy skąpiec) wszystkie te dane ma w kopii u siebie!
Pobieranie danych przez cURL też będzie nieefektowne. Mała zmiana na jakiejś stronie i Twój mechanizm się sypie.
Metoda z cURLem to także pareset razy więcej przesłanych danych.

Tu na pewno są w użyciu API, jedyne pytanie - czy udostępniają je strony zewnętrzne dla serwisów zbierających treści, czy odwrotnie - serwis zbierający treści udostępnia swoje API stronom partnerskim i one już zajmują się przesyłaniem odpowiednich danych? Ale tego możesz się dowiedzieć tylko od jednej ze stron, nie od ludzi z forum ;)

1 użytkowników online, w tym zalogowanych: 0, gości: 1