Pracuje nad malym projektem zwiaznym ze scrapowaniem ofert pracy. Wszystko mam gotowe i jedyne co musze zrobic to zesynchronizowac skrypt odpowiadajacy za scrap z django -> skrypt yielduje wszystkie wyciagniete oferty, ktore nastepnie maja trafic do postgresa.
Zastanawiam sie ktore rozwiazanie bylo by najbardziej optymalne:
- Skrypt w celery ?
- Zwykly cron puszczany co x czasu jako oddzielna aplikacja + dopiska z pscopg2 do wrzucania rekordow na baze
- Django background tasks ?
Szacuje, ze skrypt powinien odpalac sie co 5min (scrap zajmuje do 30 sec). Jakies pomysly ?