Mam pytanie odnoście pliku robots.txt, chcę aby roboty indeksowaly tylko strony gdzie nie jest wymagana rejestracja. Czy tak powinien wyglądac ten plik?
User-agent: *
Disallow: /Administration/
Disallow: /Account/
0
0
Wygląda git. ale nigdy nie testowałem :P
Tutaj masz fajną tabelkę:
https://support.google.com/webmasters/answer/6062596?hl=pl&ref_topic=6061961
https://support.google.com/webmasters/answer/6062608?hl=pl
Zakaz pobierania katalogu i jego zawartości – wpisz nazwę katalogu i ukośnik. Pamiętaj, by nie używać pliku robots.txt do blokowania dostępu do treści prywatnych – zamiast tego zastosuj odpowiednie uwierzytelnianie. Adresy URL zabronione w pliku robots.txt wciąż mogą być indeksowane bez pobierania, a plik robots.txt jest publicznie dostępny i może spowodować ujawnienie lokalizacji treści prywatnych.
User-agent: *
Disallow: /kalendarz/
Disallow: /śmieci/