Witam
Napisałem wielowątkowego (ale tylko jeden wątek zajmuje się połączeniami) crawlera, ale okazało się, że strony go blokują po ~minucie.
Chciałbym aby tak nie było...
Jak mogę to rozwiązać LEGALNIE i tak żeby nie być świnią? Muszę go spowolnić? Dodać opcje czekania na usunięcie blokady? Jak myślicie? nie

Edit. Problem rozwiązany.