Hej, pisał ktoś testy crawlera w Scrapy? unit/integration i testy API. Jest trochę bibliotek, np., tutaj:
https://stackoverflow.com/questions/6456304/scrapy-unit-testing
I pewnie to ogarnę, Ale jestem ciekaw, czy ktoś coś poważnie/produkcyjnie....