Zachowanie web crawler'ów na stronce zabezpieczonej ciasteczkami

0

Ostatnio nie daje mi spokoju takie zagadnienie. Jak to jest z tymi web crawlerami na (pod)stronach gdzie wejście trzeba potwierdzić jakimś "kliknięciem", a informacja o kliknięciu zapisuje się w ciasteczku. Nie mam na myśli pełnego logowania do serwisu tylko na przykład takie stronki z zawartością +18, wymagają potwierdzenia że owszem dorosły jestem.
Tylko czy taki googlebot zindeksuje serwis "niżej"? Czy wszystko co dostępne dopiero po jakiejś akcji usera to już dla botów indeksujących nie dostępne? Jeżeli nie, to jakie są inne (lepsze) sposoby przechowywania takich informacji (potwierdzających wybór), tak żeby boty sobie też poradziły?

1

Np. rozpoznaje się czy to bot i nie wyświetla mu tej informacji.

1

a co z ludźmi z wyłączonymi ciasteczkami? takie rozwiązanie to podwójny strzał w stopę
czemu po prostu nie zrobić osobnej podstrony ze zwykłym linkiem "Wchodzę" do właściwej strony?

Podejrzewam że wcale nie chodzi o przycisk "wchodzę", ale jak widzisz wymyślenie alternatywnego rozwiązania wymaga dokładnego opisu sytuacji

W uogólnionym przypadku mógłbyś stworzyć sesję dla botów poszczególnych przeglądarek z której korzystałyby wspólnie crawlery bez względu na ip (często google wysyła kilka swoich spiderków z różnymi ip na raz)

0

Dzięki wielkie za odpowiedzi.

@massther: i to chyba jest rozwiązanie

@unikalna_nazwa: osobna strona nic nie rozwiązuje, bo załóżmy że: user wejdzie bezpośrednio na podstronę z treścią, wtedy trzeba go przekierować na stronkę główną żeby mógł przeczytać co i jak i potwierdzić, że się zgadza.
No jak ktoś ma wyłączone ciasteczka to "dupa zbita", ale coś za coś. Myślałem o funkcjonalności typu: uzytkownik potwierdza i jednocześnie zaznacza "zapamiętaj mój wybór i nie pytaj mnie więcej", i przez powiedzmy 30 dni (albo do wyczyszczenia cookies) może sobie chodzić po portalu bez ograniczeń i konieczności potwierdzania czegokolwiek.

1 użytkowników online, w tym zalogowanych: 0, gości: 1