programik do analizowania portalu z grami

0

Joł,
programik działa w ten sposób że zaciąga na starcie wszystkie tytuły gier oraz linki do nich z serwisu (w przyszłości będzie mówił o ilościach lajków i disjalków, itp.) to wszystko serializuję przez xml i wrzucam do pliku tekstowego (w przyszłości chcę bazę danych). Czy zna ktoś jakieś pomysły żeby nie przelatywać za każdym razem po wszystkich stronach? Na chwilę obecną to wszystko jest napisane w consoli ale zamierzam to przepisać na windows forma lub net core.

0

Huh, no to ten... Albo znajdzie się wróżbita, albo opiszesz jak to działa, jak pobiera "wszystkie" strony i w czym masz problem żeby to ograniczyć. :D

0

Myślę że chodzi o to że po prostu nie wiesz co dodano i zmieniono, więc okresowo przeczesujesz cały portal aktualizując to co masz u siebie. Myślę że nie ma innego sposobu, chyba że publicznie jest udostępniany jakiś strumień danych, może RSS, albo strona z aktualnościami?
Tak jak napisał @Dyzma ciężko mówić o szczegółach skoro żadnymi się nie podzieliłeś

0

jest szansa że strona w nagłówkach wysyła kiedy była ostatnio zmodyfikowana, możesz wtedy wysyłać zapytanie "HEAD" zamiast "GET" i porównać datę strony, lub nagłówek ETag, takie przelecenie przez istniejące strony będzie dużo szybsze żeby sprawdzić czy coś się nie zmieniło

1 użytkowników online, w tym zalogowanych: 0, gości: 1