Wiem, co mniej więcej starasz się zrobić. Robiłem podobny projekt, tylko znacznie mniej zaawansowany.
W skrócie kilka działań na danych wprowadzanych przeze mnie, które będą opierane na danych z zewnętrznych źródeł czyt strony internetowe, gdzie w międzyczasie za pomocą jakiejś pętli programik będzie sobie odświeżał owe wartości, tak aby "przeliczniki" zgadzały się z aktualnymi wartościami podawanych przez zewnętrzne strony.
Ja stworzyłem projekt, który miał za zadanie sprawdzić czy content
strony się nie zmienił (czekałem na pewne wyniki dodawane w formie załącznika pdf). Zrobiłem to możliwie najbanalniejszym sposobem, jaki ktoś może wymyślić. Miałem plik ze strukturą strony z konkretnej daty, wiedziałem, że nic się tam jeszcze nie zmieniło. Ładowałem go do dynamicznej listy, pobierałem goły content
ze strony i... porównywałem linijka po linijce. Z pomocą osób z forum dodałem usługę powiadamiającą za pomocą maila, odpalanie co 6 godzin i wrzuciłem na serwer. Działało.
Zrobiłbym inaczej, gdyby tylko strona udostępniała datę zmiany pliku, który pobierałem.
Odpowiadając na Twoje pytanie: wykorzystałbym język wysokiego poziomu (Java/C# lub inne równie łatwe i popularne) i pobierał dane ze strony co jakiś czas w formie zapewne czystego HTML
a.
Pierwszy problem który mnie zastanawia to fakt, odświeżania owych stron, skoro program powiedzmy będzie pobierał dane co ~~ 30min, tudzież ręcznie zostanie odświeżony, nie będzie to kłopotem dla mnie ze strony administracji owych serwerów z których dane będę pobierał? Nie chciałbym bawić się bez sensu w kotka, i myszkę jeżeli moje ip wleci na blackliste :)
Nie powinno być najmniejszego problemu z tym, że łączysz się co jakiś czas ze stroną i pobierasz z niej dane. W końcu możesz ręcznie co pół godziny, ba! nawet co 15 sekund, łączyć się ze stroną. 15 sekund to może na wyrost, ale stawiam, że połączeń ze stroną jest tyle, że nikt nie zwróci na to uwagi.
Do tego parsowanie HTML
(lub najprostsze na świecie myString.indexOf(...)
, następnie myString.substring(...)
i na samym końcu parsowanie na liczby - toporne, ale zadziała).
Szykuj się na długą i ciężką drogę. Powodzenia ;)