Excell analiza ogromnego .CSV

0

Witam. Wyzwanie jest następujące, otóż mam 12 plików .CSV z danymi zapisanymi w ten sposób:
Nr platnika;Nr punktu poboru energii;Rodzaj energii;Data i godzina;Wartosc[kWh/kvar]
50000362;PPE:590322400300220026;energia bierna indukcyjna pobrana;01.04.2022 01:00;0
50000362;PPE:590322400300220026;energia bierna pojemnościowa pobrana;01.04.2022 01:15;0
50000362;PPE:590322400300220026;energia czynna pobrana;01.04.2022 01:30;0
50000362;PPE:590322400300220026;energia bierna indukcyjna pobrana;01.04.2022 01:45;0
50000362;PPE:590322400300220026;moc zmierzona;01.04.2022 02:00;0

Razem jest 147125 wierszy.

Chodzi o to, jak zrobić z tego tabelę tak by Rodzaj energii (są cztery rodzaje energii) był w kolejnych czterech kolumnach pod którymi będą ich wartości.
energia bierna indukcyjna pobrana energia bierna pojemnościowa pobrana energia czynna pobrana Moc zmierzona

Czyli chcę uzyskać widok:
Data i godzina; energia bierna indukcyjna pobrana; energia bierna pojemnościowa pobrana; energia czynna pobrana; moc zmierzona
01.04.2022 01:00; 0;0;0;0
01.04.2022 01:15; 1;12;2;21
01.04.2022 01:30; 2;10;2;18

Do analizy, kreślenia wykresów, wzajemnych zależności, dodatkowych obliczeń dla kompensacji mocy biernej.
Excel, MySQL, inne Officy, ma ktoś jakiś pomysł?all-npad.csv

0

Może wczytać, zamienić kolejność kolumn a, niepotrzebne usunąć?

0
ehhhhh napisał(a):

Może wczytać, zamienić kolejność kolumn a, niepotrzebne usunąć?

Oczywiście, zgadzam się, tylko co jeśli masz tych danych kolejne pliki, a ten jest tylko przykładowym? Szkoda czasu, uważam, że trzeba skonstruować jakiś automat który to sam ogarnie w formie generowanych raportów z dostarczanych mu na bieżąco kolejnych partii danych.
Może to wczytać do jakiejś bazy a potem z niej generować analizy i raporty?
Najprościej wydaje się to zrobić w excelu lecz on też nie potrafi tego sam przetworzyć, trzeba mu pokazać jak ma to zrobić a tutaj ja mam za małą wiedzę by to zrobić.
Użycie tabel przestawnych i funkcji FILTER się nie sprawdziło jak do tej pory.

1

Jeśli format jest ZAWSZE taki sam to to jest pi razy oko 50 linii kodu w większości popularnych języków aby go wczytać, obrobić i zapisać do bazy (jako automat, który będzie czekał na nowy plik w zdefiniowanym katalogu). Potem wedle życzenia - łączysz się excelem do bazy, wyciągasz interesujące Cię dane i generujesz co chcesz. Alternatywą jest napisanie gotowca, który dla wybranych parametrów (płatnik, okres, ...) będzie generował gotowy raport (znowu jakieś 100-200 linii kodu w zależności od ilości parametrów / wyglądu raportu)

0

na szybko. sciagasz Power BI, ladujesz plik excel, edytujesz dane piwotem. jak chcesz zrobic z tego proces to tez sie da, ale to juz wiecej pracy potrzeba

screenshot-20220809110402.png

screenshot-20220809110237.png

ewentualnie jak masz chmure i databricks mozesz wrzucic plik na chmure, odczytac go w databricks i stworzyc widok czytajacy ze zrodla na chmurze uzywajac pivota. wtedy bedzie Ci zawsze najswiezsze dane odczytywal. kod pisany na szybko:

SELECT Rodzaj energii as rodzaj, Data i godzina as data_godzina, Wartosc[kWh/kvar] as wartosc FROM all_npad_csv PIVOT ( sum(Wartosc[kWh/kvar]) FOR Rodzaj energii IN ( 'energia czynna pobrana', 'energia bierna pojemnociowa pobrana', 'Moc zmierzona', 'energia bierna pojemnościowa pobrana', 'energia bierna indukcyjna pobrana', ) )

edit: sprawdz dane, bo cos masz nie tak np. dla 'energia bierna pojemnościowa pobrana' wartosc nie jest intem

screenshot-20220809113803.png

0

to zadanie na map reduce.

1 użytkowników online, w tym zalogowanych: 0, gości: 1