Witam
Piszę skrypt, który ma pobrać stronę wyszukań google curlem jednak ciągle otrzymuję ten sam wynik, a mianowicie stronę główną googli z polem na wpisanie frazy, a nie wyniki. Kod wygląda z grubsza tak:
$url = "https://www.google.pl/#q=koty";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$body = curl_exec($ch);
$error = curl_error($ch);
curl_close($ch);
var_dump($body);
Co robię nie tak?
taki adres:
https://www.google.pl/#q=koty
generuje tablice wynikow uzywajac ajaxa czyli javascriptu, co twoj curl nie obsluzy
uzyj tego adresu:
https://www.google.pl/search?q=koty
a wyniki beda generowane bez uzycia js i dostaniesz swoj html z wynikami wtedy
użyj google search api (chyba jakieś jest).
jeżeli Ci się uda napisać to tak, jak piszesz - to po 5-10 wynikach i tak dostaniesz bana od google.
dzek69 napisał(a):
użyj google search api (chyba jakieś jest).
jeżeli Ci się uda napisać to tak, jak piszesz - to po 5-10 wynikach i tak dostaniesz bana od google.
Niestety google search API zwraca do 64 wyników, a mi potrzeba tysiące.
Co do banowania to rzecz jasna pobieram to poprzez proxy.
Dzięki za pomoc!