Cześć, mój kod "przelatuje" przez 101 tyś rekordów i zbiera linki. Dodaje wszystkie linki do tabeli w excelu na samym końcu. Chciałbym żeby dodawał po 1000 tyś linków do tabeli na wypadek gdy po jakimś czasie się wywali, a nie dodawał wszystkie dopiero na końcu. Czy ma ktoś jakiś pomysł? Z góry dziękuję i pozdrawiam!
counter = 0
new_text = []
response = requests.get(wms_request_base_url, params=wms_request_parameters)
if response.ok:
actual_record = None
for matches in compiled_regexp.findall(response.text):
record = {name: value for name, value in zip(attribute_names, matches)}
record_date = get_date(record, 'aktualnosc')
if not record_date:
continue
if not actual_record:
actual_record = record
else:
actual_record_date = get_date(actual_record, 'aktualnosc')
if actual_record_date and record_date > actual_record_date:
actual_record = record
if actual_record:
new_text.append(actual_record)
counter += 1
# if counter >= 3000: break
table = pd.DataFrame.from_dict(new_text)
table.to_excel('linki.xlsx', index = True)