Zapewne wielu z was zetknęło się z serwisem spampoison.com.
Czy jesteście mi udzielić informacji, czy taki serwis nie blokuje również botów wyszukiwarek internetowych?
Zapewne wielu z was zetknęło się z serwisem spampoison.com.
Czy jesteście mi udzielić informacji, czy taki serwis nie blokuje również botów wyszukiwarek internetowych?
z tego, co wiem, to to nie jest blokada, tylko "trucizna" - spamerek sobie wysyła na ich adres emaila i automatycznie, bez ostrzeżenia trafia na spamlistę :)
EDIT: jedbak nie spamlistę, ale toto dostarcza po prostu mnostwo bezuzytecznych adresow email
żadna wyszukiwarka nie zarchiwizuje ci całej witryny tylko jej pewną część
masz przydzielony czas na odwiedziny spidera w zależności głównie od popularności twojej strony
na początku z każdej domeny zwykle do wyszukiwarki trafia tylko parę podstron, a że domeny są generowane dynamicznie więc żadna z nich nie ma prawa mieć zbyt dużej popularności,
tym samym robot wyszukiwarki nie wejdzie na więcej niż trzy linki z takiej fake strony
w dodatku te strony mają metatag ustawiony na noindex, nofollow a w robots.txt jest wstęp wzbroniony więc uczciwe boty w ogóle ominą tą stronę szerokim łukiem
za to boty zbierające maile są bardziej pazerne i nie przychodzą "z łaski swojej", poza tym leją na zakazy i pozwolenia dlatego możliwe że się zatną o ile algorytm był trochę nie tego
Adamo: afaik tylko google jest "uczciwe" i respektuje "robots.txt" i nofollow.
nofollow na pewno respektuje większość wyszukiwarek a robots.txt nie wiem czy jest brany pod uwagę ale z logów widzę że bot każdej wyszukiwarki mnie odwiedzającej zaczyna od ściągnięcia tego pliku
robots.txt ma nawet dla Googlebota większy priorytet niż <meta>.