Cel podstawowy: pobierać dynamiczną zawartość z witryn, to co nie widać w statytycznym htmlu, jakieś java scripty itp.
Cel dodatkowy: logować się automatycznie na strony
Wszystko, żeby działało pod Javą lub Pythonem.
Szukałem i znalazłem np. takie możliwości:
- Selinium WebDriver org.openqa.selenium.WebDriver
- Html Unit http://htmlunit.sourceforge.net/
- Crawljax http://crawljax.com/
- Jaunt https://jaunt-api.com/
- Chromium Embedded Framework
- JavaXPCOM
- spynner https://github.com/makinacorpus/spynner
Co polecacie? Podoba mi się najbardziej Selenium i myślę, że spełnia wymogi. Pytam żebym znów się nie okazało, że wyciągam coś z muzeum. Albo w trakcie po kilku tygodniach się okaże, że to się nie nada.