Cześć, tak dano nie robiłem w plikach robots.txt że zapomniałem jak się wykonuje te ustawienia blokowania pająka sieciowego. Może ktoś będzie mi w stanie doradzić.
Mam takie ciągi zapytań jakie chcę zablokować:
mojastrona-wiadomo pl. / jak-zablokowac-tego-robota/?msc=1
mojastrona-wiadomo pl. / jak-zablokowac-tego-robota/feed
mojastrona-wiadomo pl. / jak-zablokowac-tego-robota/?quad_wp
mojastrona-wiadomo pl. / jak-zablokowac-tego-robota/?subswencje/?srp=9239923939 itd
Chciałbym aby blokowało każdy adres z tym po stronie kanonicznej - każdy ten dynamiczny parametr oraz feed - ale nie zablokowało kanonicznej strony jedocześnie. Męczę się z tym na próbach z "*" i zawsze jest coś nie tak.
Może jest ktoś w stanie chodzi dać sam układ do Disallow: / co tam prawidłowo wpisać.