Roboty internetowe

0

Jakie pliki trzeba stworzyć w podkatalogach, aby roboty internetowe nie buszowały w twoich katalagoch ?

0
.htaccess z KrasnalServ napisał(a)

#------ Blokowanie wszelkiego rodzaju szukaczy i robotów !------------
RewriteEngine on

#RewriteCond %{REQUEST_METHOD} ^(TRACE|TRACK)

RewriteCond %{HTTP_USER_AGENT} ^arachnofilia [OR]
RewriteCond %{HTTP_USER_AGENT} ^aspseek
[OR]
RewriteCond %{HTTP_USER_AGENT} ^bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^check
[OR]
(...)
RewriteCond %{HTTP_USER_AGENT} ^Szukacz/1.5. [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zyborg/1.0.

RewriteRule ^.*$ http://www.nsa.gov [L]

robots.txt z coyote napisał(a)

User-agent: *
Disallow: /add_article.php
Disallow: /add_comment.php
Disallow: /add_news.php
Disallow: /add_tip.php
Disallow: /upload.php
Disallow: /rate.php
Disallow: /account
Disallow: /cgi-bin
Disallow: /wiki
Disallow: /profile.php

0

Dodam od siebie jeszcze tyle, ze czasami roboty sieciowe olewaja plik robots.txt, wiec pierwszy sposob jest lepszy jezeli masz dostep do .htaccess.

1 użytkowników online, w tym zalogowanych: 0, gości: 1, botów: 0