Pytanie o wybór języka programowania, który wykonuje się z przeglądarki po stronie klienta

@koszalek-opalek: tylko przy połączeniu przez serwer proxy raczej będzie z tego lipa. To droga impreza. Teraz mam wykupione prywatne kilkanaście adresów IP na serwerach proxy i przy kilku tysiącach zapytań w ciągu doby do pobrania źródła danej strony wykruszają się. Fajnie gdyby technologicznie było możliwe pobranie źródła strony przez klienta i ewentualnie wysłanie go serwerowi do sparsowania.
Rozważam jeszcze zrobienie tego w aplikacji mobilnej na android/ios, tylko mam 0 doświadczenia w tym. Ale zakładam, że tam to nie problem takie operacje przeprowadzić w ramach aplikacji zainstalowanej na urządzeniu mobilnym.

Gwidon Zuchwaly napisał(a):

Fajnie gdyby technologicznie było możliwe pobranie źródła strony przez klienta i ewentualnie wysłanie go serwerowi do sparsowania.

Nie będzie taniej i szybciej, jak serwer dostanie od klienta tylko adres strony, a sam pobierze sobie źródła?

@koszalek-opalek: nie, problem jest z pobieraniem źródła stron w dużych ilościach. Często jest tak, że po kilkuset wizytach danego IP (pobraniu kodu strony) serwer blokuje takie IP. Dlatego wówczas trzeba wykupić serwery proxy aby nie zostać zblokowanym a to już jest spory wydatek jak na coś co ma się utrzymywać z reklam. Można to pewnie teoretycznie ominąć mając jakiś dobry OCR (omijający zabezpieczenia captcha, że nie jesteś robotem, ale to tylko na jakiś czas), lub trzeba zapłacić Chińczykowi za przepisanie kodu (np. DeathByCaptcha). Wszystkie te rozwiązania generują koszta. Sprawa byłaby prosta gdyby to klient pobierał źródło strony i wysyłał je serwerowi.

Aplikacja może działać w ten sposób, że wyśle klientowi adresy do pobrania źródła, klient te źródła pobiera i odsyła serwerowi. Następnie serwer parsuje źródła, przetwarza dane i wynik odsyła klientowi.

W zasadzie najważniejsze jest pobranie źródła przez klienta i wysłanie danych do serwera bo to są najwyższe koszty. Natomiast sam proces przetwarzania danych najlepiej gdyby odbywał się po stronie klienta, ale nie jest to dużą przeszkodą jeśli serwer miałby to robić.

To się nazywa w skrócie "botnet"

@enedil: takie rzeczy to ja pisałem jak byłem gówniarzem, już mi przeszło :P Liczę, że zaczną się wypowiadać osoby, które mają coś sensownego do powiedzenia :)

No przepraszam, problem w całym Twoim modelu jest taki, że ten typ zachowań (czyli wysyłanie requestów na zewnętrzne serwery od klienta) jest zabroniony in explicite, dlatego właśnie byłbym zdziwiony gdybyś podołał.

Gdyby było jakieś proste rozwiązanie to bym nie zakładał tematu na forum ;) Napisanie takiego programu w C++ np. pod windows to żaden problem, natomiast być może nie ma możliwości ogarnięcia tego na przeglądarkę.