Bot do obserwowania stron internetowych

0

Cześć. Wpadł mi do głowy pomysł, aby zrobić na własne potrzeby program do obserwowania serwisów aukcyjnych (nie, nie jest to kolejny pomysł który zhakuje allegro i zarobie dzięki niemu miljony).

Program miałby działać mniej więcej w ten sposób: sprawdź stronķę x, y i z czy istnieją ogłoszenia spełniające zadane wymogi. Jeśli tak, wyślij raport o tym na adres email.

Takie programy pewnie już istnieją i zastanawiam się na jakiej zasadzie działają? Pierwsza opcja to korzystanie z api stronki internetowej, jednak nie wszystkie serwisy je posiadają i nie wszystkie udostępniają na zewnątrz. Kolejny pomysł to parsowanie htmla stronki, ale tu pojawiają się problemy z javascriptem, częstymi zmianami struktury stronki itp, ogólnie śliski temat.

Są oprócz tego jeszcze jakieś inne sposoby o których nie wiem?

1

Kolejny pomysł to parsowanie htmla stronki, ale tu pojawiają się problemy z javascriptem,

Są sposoby np. bot robi "fizyczne" wejście na stronę, daje to dodatkowe możliwości (jakieś logowania itd), ale może to znacznie spowolnić proces .

częstymi zmianami struktury stronki itp, ogólnie śliski temat.

Nie wiem czy jest to aż tak duży problem, no bo kto zmienia swoją stronę tak często?

https://allegro.pl/webapi/

1 użytkowników online, w tym zalogowanych: 0, gości: 1