wyciąganie danych z web serwera urządzenia ( coś jak router ) z interfejsem ETH po TCP/IP + automatyczna archiwizacja odczytów

0

Witam wszystkich!

Chciałbym stworzyć lub skorzystać z gotowego narzędzia do pobierania danych z urządzenia posiadającego serwer www w postaci HTML. Dane te są zmienne (wyniki pomiarów) i potrzebuję, aby narzędzie automatycznie odświeżało cykliczne zapytania z tego serwera www. Wszystkie te odczyty potrzebowałbym aby były automatycznie archiwizowane (powiedzmy co 10 minut) z możliwością eksportu do arkuszy MS Excell.

środowisko: enthernet ( tcp ip ) stały adres IP urządzenia, widnows 10 pro

Próbowałem z ms excell używając Power Query ale nie rozpoznaje on poprawnie wszystkich odczytów z serwera www.
Problem jest głównie z datą i czasem, których Power Query w ogóle nie widzi i muszę użyć starego sposobu, czyli Web Query, tylko wtedy mogę wyodrębnić datę i czas do ms excell.

Problem polega na tym, że pobiera dane dla daty i czasu do jednej komórki, a ja potrzebuję w osobnych komórkach.

Kolejnym problemem jest to, że nie bardzo wiem jak poradzić sobie z historią.
Sam serwer WWW nie posiada funkcjonalności przechowywania wartości zmiennych pomiarowych w logach ( np. jak to jest w routerach )
Natomiast pomiary są aktualizowane w arkuszu excell ( co 1 min mam ustawione) i musiałbym je automatycznie skopiować np. do innego arkusza jako listę.
Nie wiem jak to zautomatyzować w najlepszy sposób, proszę o pomoc

1

Wybór Excella jako ośrodka tego wdrożenia to kiepski pomysł. To nie jest narzędzie do developmentu oprogramowania - nigdzie MS tak nie twierdzi.
Do tego nie jest absolutnie współbieżne.

Jeśli już musi być, to jako eksport "na deser" z lepszego systemu, tj bazodanowego

Jakie języki / technologie znasz ?

ps. zupełnie nie rozumiem porównania "coś jak router" w tytule wątku

0

@AnyKtokolwiek:

Generalnie nie jestem żadnym programistą, nie znam języków programowania, zajmuję sie tym tematem na własny użytek osobisty po prostu mam BMSa w domu, który przekazuje mi przez czujniki rozmieszczone w domu i ogrodzie pewne informacje za pośrednictwem kabla LAN które chcę zbierać i później analizować sobie już w excelu.

Chodziło mi o to że urządzenie wypluwa dane za pośrednictwem tcp/ip i HTML tak jak interfejs do zarządzania np.routerem przez www.

Już wszystko sobie zrobiłem obecnie, olałem ten zegar z urządzenia bo i tak komputer, który ma obsługiwać analitykę będzie uruchomiany 24/h więc zrobiłem zegar rzeczywisty w excelu jak i datę no i makro co odświeża czas i datę w komórce. Makro kolejne robi mi kopie pomiarów do następnego arkusza i robiąc kopię strzela kopię zegara i daty, więc mam tak tworzoną listę z pomiarami w kolejnym arkuszu. Generalnie działa to ale plik urośnie jak krowa zapewnie za kilka dni, to jeszcze pewnie pokuszę się do exportu danych do sql czy db.

Naprawdę nie ma jakiegoś gotowego softu co by obsłużył takie relacje ?

2

Hasło do Google to "web scraping".
https://www.guru99.com/web-scraping-tools.html
Z żadnego z tych narzędzi nie korzystałem.

W przypadku tego co opisujesz było by to pewnie kilka linijek kodu więc raczej większość osób z forum napisałaby to samemu.
Popatrz np. Tu na Pythona:
https://realpython.com/beautiful-soup-web-scraper-python/
Poza opisem użyte jest kilka poleceń. Zostanie odszukanie opisu jak pobrane dane zapisać do bazy.
Przykład w PHP gdzie masz jeszcze opisane jak zapisywać pobrane dane i zapisać do XMLa:
https://prowebscraper.com/blog/web-scraping-using-php/

Jest tylko jedno ale. Jesli ta strona pobiera dane dynamicznie lub korzysta z javascript do ich wyświetlania to robi się znacznie trudniej. Wydaje mi się jednak, że wtedy nie działało by i PowerQuery.

Podsowując, kombinuj.

1 użytkowników online, w tym zalogowanych: 0, gości: 1