Boty z rosyjskich IP

Witam

Po mojej stronie zaczęły krążyć jakieś boty z rosyjskich IP. Za każdym razem w logach jako referrer widze linki zaczynające się od yandex.ru, a więc jakiejś rosyjskiej wyszukiwarki. Te boty wchodzą na podstrony, o których nie mają prawa wiedzieć, więc bardzo mnie to zdziwiło.

Po głębszej inspekcji przypomniałem sobie, że dałem link do jednej z moich podstron mojemu koledze, który pisał kiedyś że ma zawirusowany komputer i wyskakują mu reklamy w przeglądarce mimo adblocka. Podejrzewam więc, że to pośrednio za jego sprawą zaczęły krążyć te boty na mojej stronie.

Co można zrobić żeby pozbyć się tych botów? Niektóre ich wejścia pochłaniają mi dużo transferu.

Sprawdzaj referer i rób permanent redirect (301) na jakiś adres, np.: złośliwie na referera, albo mniej złośliwie na Twoją stronę główną. Trochę słabe to zabezpieczenie, bo polega na danych wysyłanych przez klienta, ale bardzo proste w implementacji. Nieco trudniejsze będzie zrobienie podobnej blokady na IP, ale na pewno będzie znacznie skuteczniejsze.

yandex to rosyjski Google, nie chcesz żeby Cię mogli znaleźć to zablokuj ich na .htaccess i robots.txt

http://www.webhostingtalk.com/showthread.php?t=924727
http://stackoverflow.com/questions/35645055/use-htaccess-to-block-yandex-baidu-and-mj12bot

Zostaw Yandexa w spokoju, normalna wyszukiwarka, nie ma powodu by ją blokować.

jeżeli resztę strony zabezpieczyłeś na zasadzie "nikt nie zna linka" to weź to szybko popraw :p