Witam !
Takie szybkie wprowadzenie do problemu: w moim programie tworzę wątki do zbierana danych z podanych adresów. Ilość tych wątków jest zależna po prostu od ilości podanych adresów (tych adresów są 3 "rodzaje" - oczywiście wszystkie są z tego samego portalu, ale po prostu poprzez rodzaj rozumiem to, że pierwszym rodzajem to linki typu cos.pl/rodzaj1 a drugim cos.pl/rodzaj2. Po prostu te rodzaje są determinowane przez to, że trochę inaczej muszę parsować dla różnych rodzajów). Oczywiście do zbierania danych używam Jsoupa.
Mój kod do pobrania dokumentu html:
Connection conn = Jsoup.connect(address);
conn.timeout(10 * 1000);
Connection.Response resp = conn.execute();
if (resp.statusCode() == 200)
return conn.get();
I teraz odnośnie samego problemu. Dotyczy on linków 3 rodzaju. Jest ich najwięcej, bo aż 90, więc tworzę do obsługi każdego 90 wątków. Przy próbie ich utworzenia, metoda execute() wyrzuca mi wyjątek HttpStatusException z statusem http równym 420. Wyczytałem o nim, że ten status został wprowadzony kiedyś przez Twittera, że dotyczy przypadku gdy osiągnęlismy "rate limit". W związku z tym postanowiłem ograniczyć ilość tych wątków, ale dopiero przy 5, wyżej wymieniony błąd nie był już wyrzucany. Nie byłoby problemu, gdyby nie fakt, że wątków dla linków 1 i 2 rodzaju mogę zrobić z 60-70 i problem nie występuje (nie sprawdzałem większej ilości). Czy w obrębie tego samego portalu, można mieć do czynienia z dwoma różnymi "rate limit" ? Z góry dziękuje za pomoc