Pytanie jak w temacie. Mam scraper, który dla kazdego elementu z tablicy wykonuje coś takiego:
- requset http po html
- wyciągnięcie danej z html
- zapis danej do bazy
Punkt 1 trwa zdaje się najdłużej. Pytanie jak mogę wykorzystać asynchroniczność / wielowątkowość żeby przyspieszyć cały proces. Elementów w tablicy jest kilka milionów, w obecnym tempie będą się pobierać przez kilka dni. Scraper piszę w nodzie. Może ktoś pomóc?