Witam. Czy jest jakiś sposób, aby zabezpieczyć swoją stronę przez CURLem? w niektórych przypadkach, widziałem, że strony zamiast treści, wyświetlają białą stronę (nie pobierają danych ze strony), w jaki sposób osiągnąć taki rezultat?
0
0
Spotkałem się z czymś takim w przypadku 404 oraz 301. Więc może to dlatego była wyświetlana biała strona w rezultacie.
0
Jest to zawsze heurystyka, ale najprostszym sposobem będzie:
- sprawdzenie nagłówków charakterystycznych dla przeglądarek (np.
Content-Type,RefererlubOrigin, zaleznie od potrzeb) - sprawdzenie obslugi ciastek
- sprawdzenie
User-Agent
Wszystkie z tych rzeczy da sie podrobic:
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
curl_setopt($ch, CURLOPT_USERAGENT, $agent);
curl_setopt($ch, CURLOPT_COOKIEJAR, $file);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_REFERER, 'http://www.google.com');
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
Problem polega na tym, ze CURL dziala dokladnie jak przegladarka, wiec ciezko tu cos poradzic.
Ale na poczatek odsieje to czesc script-kiddies. Pamietaj, ze mozesz przypadkiem odsiac uzytkownikow przegladarek w ten sposob, wiec nie wiem, czy jest to warte implementacji.
Zapobiec crawlowaniu mozesz np. ograniczajac liczbe requestow na sekunde. Uzytkownicy nie klikaja na kolejne podstrony co 0.01 sekundy, boty jak najbardziej ;)
0
Wszystkie te "zabezpieczenia" na nic się zdarzą jeśli ktoś będzie naprawdę zdeterminowanym by je obejść...