Python - ustawienia autosave

0

Cześć, mój kod "przelatuje" przez 101 tyś rekordów i zbiera linki. Dodaje wszystkie linki do tabeli w excelu na samym końcu. Chciałbym żeby dodawał po 1000 tyś linków do tabeli na wypadek gdy po jakimś czasie się wywali, a nie dodawał wszystkie dopiero na końcu. Czy ma ktoś jakiś pomysł? Z góry dziękuję i pozdrawiam!



counter = 0
new_text = []

      response = requests.get(wms_request_base_url, params=wms_request_parameters)
            if response.ok:
                actual_record = None
                for matches in compiled_regexp.findall(response.text):
                    record = {name: value for name, value in zip(attribute_names, matches)}
                    record_date = get_date(record, 'aktualnosc')
                    if not record_date:
                        continue
                    if not actual_record:
                        actual_record = record
                    else:
                        actual_record_date = get_date(actual_record, 'aktualnosc')
                        if actual_record_date and record_date > actual_record_date:
                            actual_record = record
                if actual_record:
                    new_text.append(actual_record)
            counter += 1
            # if counter >= 3000: break
               
    table = pd.DataFrame.from_dict(new_text)
    table.to_excel('linki.xlsx', index = True)
0

Otwórz plik, zapisz do niego dane po 1000 tys, zamknij plik otwórz go ponowie z odpowiednimi flagami, zapisz, zamknij - i tak do wyczerpania.

0

Możesz stworzyć ExcelWriter i do niego pisać. Tylko musisz pilnować, żeby startrow się zgadzało.

0

zrob sobie counter i, i co 1000 rzedow (i%1000==0) zapisz dane do pliku

1 użytkowników online, w tym zalogowanych: 0, gości: 1