Wtiam wszystkich
w htaccess w nagłóku napisałem coś takiego:
# Bots allowed
SetEnvIfNoCase User-Agent .*google.* search_robot
SetEnvIfNoCase User-Agent .*yahoo.* search_robot
SetEnvIfNoCase User-Agent .*BingBot.* search_robot
SetEnvIfNoCase User-Agent .*Mozilla.* search_robot #przeglądarki
# Bots blocked
SetEnvIfNoCase User-Agent "DotBot" bad_bot
SetEnvIfNoCase User-Agent "MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "sitebot" bad_bot
SetEnvIfNoCase User-Agent "LexxeBot" bad_bot
SetEnvIfNoCase User-Agent "Yandex" bad_bot
SetEnvIfNoCase User-Agent "Ezooms" bad_bot
SetEnvIfNoCase User-Agent "ichiro" bad_bot
SetEnvIfNoCase User-Agent "AppEngine-Google" bad_bot
Order Deny,Allow
Deny from env=bad_bot
Deny from All
Allow from env=search_robot
RewriteEngine On
....
Czy jest to porawne ? Czy może wartość coś jeszcze dodać ?