Pobieranie pliku html

0

Cześć.

Do zakodowania jednego z moich projektów potrzebuję danych z pewnej strony internetowej. Wcześniej przepisywałem te dane do inputu programu (aplikacja konsolowa), ale na dłuższą metę jest to męczące.
Plan był taki:

  1. Podaję programowi string z adresem strony.
  2. Program zaciąga sobie HTML.
  3. Różnymi operacjami na stringach i parsowaniem wyciągam potrzebne mi dane.

Jeśli chodzi o pobieranie danych to pewnie zrobiłbym to w taki sposób:

string html = new WebClient().DownloadString("s");

Problem polega na tym, że po odpaleniu strony nie widzę wszystkich danych i muszę zescrollować na sam dół, żeby doczytało się więcej (jeśli nie rozumiecie o czym mówię wyszukajcie dowolną rzecz na YouTube. Tamta wyszukiwarka działa tak samo.). String z danymi, który pobieram jest przez to niekompletny.

Pytanie brzmi: jak wymusić wczytanie wszystkich danych, lub zasymulować zescrollowanie na sam dół strony przed pobraniem stringa?

2

Wątek pojawia się już nie w rytmie tygodniowym, ale trzydniowym.

Hint: Web API

2

Rozwinę trochę @AnyKtokolwiek

Wchodzisz na stronę z której chcesz brać dane

Odpalasz konsolę developera

Zakładka Sieć / Network

Analizujesz gdzie idą requesty i później sam wysyłasz requesty do tych endpointów zamiast pobierać HTML.

1 użytkowników online, w tym zalogowanych: 0, gości: 1