Kopia strony offline

Odpowiedz Nowy wątek
2011-09-03 02:17
Spongebob_007
0

Znacie jakiś program pozwalający na zrobienie kopii strony offline, ale takiej prawdziwej na podstawie zapytań przy przeglądaniu i najlepiej też odwzorowującej strukturę katalogów

Inaczej - programów do robienia kopii offline jest multum ale z tych co widziałem wszystkie pytają o URL i "głębokość" na jaką mają odwiedzić stronę, potem robią pliki w stylu:

www.strona.pl-index.html
www.strona.pl-index.html_pliki\[tu_wszystkie_grafiki_skrypty_i_inne]

niefajnie - mi chodzi bardziej o coś co będzie podglądało mnie w jakiejś przeglądarce i ściągnęło wszystko do czego przeglądarka się odwoływała - tak żeby ściągnąć też wszystkie pliki .flv o które pyta .swf, nawet te które wymagały kliknięcia w jakiś element animacji

orgazmicznie by było gdyby ta kopia była interaktywna - czyli na przykład nie tworzyła statycznych plików .html tylko proste pliki .php - na przykład zakładając że strona używa AJAXu do pobrania jakiejś treści to żeby ten program utworzył plik .php z prostym switchem, który będzie próbował odpowiadać tak samo jak prawdziwy skrypt, wykorzystując zarejestrowane odpowiedzi do danych parametrów GET / POST

chodzi o to żeby tę stronę offline naprawdę dało się przeglądać i w przypadku średnio skomplikowanych stron wszystko było nadal równie interaktywne co na serwerze (zakładając że będziemy mieli taki sam scenariusz chodzenia po stronie i nie będziemy próbować odwiedzać stron na których nie byliśmy tworząc kopię)

Pozdro - z góry dzięki za propozycje

może frytki jeszcze do tego? - Rev 2011-09-03 02:37
Taki program jest w ogóle możliwy do napisania? o.O - Patryk27 2011-09-03 09:26

Pozostało 580 znaków

2011-09-05 20:21
Spongebob_007
0

może frytki jeszcze do tego? - Rev
Taki program jest w ogóle możliwy do napisania? o.O - Patryk27

a co Waszym zdaniem jest w tym niemożliwego?
program mógłby działać jak normalny sniffer, potem włączamy przeglądarkę, przeglądamy sobie normalnie stronę jakby nigdy nic a program w tle podsłuchuje wszystkie żądania i zapisuje je sobie na twardym dysku
sam bym napisał ale dość dużo roboty

Pozostało 580 znaków

2011-09-05 20:31
0

twoje wypowiedzi dokładnie świadczą o poziomie twojej wiedzy... Wiesz czym się różnią operacje server-side od client-side? Wytłumacz nam ciemnemu ludowi w jaki sposób chcesz tworzyć "proste pliki php" bo przypuszczam, że jeśli wymyśliłeś sposób aby przy pomocy sniffera dobrać się do plików php leżących na serwerze to spokojnie możesz po nobla startować albo przynajmniej składać aplikację do takich gigantów jak google czy facebook


- Ciemna druga strona jest.
- Nie marudź Yoda, tylko jedz tego tosta.
Google NIE GRYZIE!
Pomogłem - kliknij
On zupełnie nie o tym pisał tak btw. - Endrju 2011-09-05 20:32

Pozostało 580 znaków

2011-09-05 20:34
SpongeBob_007
0

czytanie ze zrozumieniem się kłania

program ma odpowiadać na znane mu requesty w znany sposób
czego nie rozumiecie?

nie musi się dobierać do strony server-side, nie musi nawet wiedzieć jaka jest struktura plików, ani jaki język jest używany po stronie serwera
chodzi tylko o to żeby odpowiedzi były identyczne

Pozostało 580 znaków

2011-09-05 20:45
0

Śmiem zasugerować że jeszcze nikt inteligentnego dekompilatora do wszystkich technologii webowych nie napisał. Bo niby jak zanalizujesz w przystępny sposób wszystkie skrypty w .swfie i pobierzesz wszystkie pliki które są ładowane w runtime?


Women were the reason I became a monk - and, ah, the reason I switched back...
edytowany 1x, ostatnio: Demonical Monk, 2011-09-05 20:58

Pozostało 580 znaków

2011-09-05 21:17
SpongeBob_007
0

ok, szanowna szlachta raczyła mnie nie zrozumieć
także proszę: reboot your mind i zaczynamy od nowa - dla uniknięcia nieprzyjemnego uczucia zamotania w mózgu proszę o nie czytanie poprzednich postów

postaram się wytłumaczyć najbardziej łopatologicznie jak tylko potrafię:

mamy stronę www na serwerze http dostępny pod domeną
odpalamy nasz program
potem odpalamy przeglądarkę i wpisujemy adres www.example.com

nasz program przechwytuje te żądanie i zapisuje na dysku odpowiedź serwera
jako że nie zna nazwy pliku, przyjmuje że jest to "index.html"

w tymże pliku mamy odwołanie do kilku grafik z podfolderu zdjecia/ - wszystkie te żądania też są przechwytywanie i zapisywane w lokalnym nowo utworzonym podfolderze o zaskakującej nazwie "zdjecia"

mamy też odwołanie do pliku flash.swf - co robi nasz program? ściąga ten plik flash.swf na dysk
ten plik flash.swf jednak ładuje sobie filmik movie.flv - ale co to?! odwołania do tego pliku nie ma w pliku index.html!! co robić, co robić? spokojnie - bez paniki wszystko jest w porządku, program działający jako sniffer też wypatrzy odwołanie do tego pliku i też go zwyczajnie ściągnie - nie potrzeba żadnej dekompilacji pliku .swf

ale cóż to? atakuje nas technologia AJAX!! Pod flashem są komentarze pobrane ze skryptu dla hecy nawet nie php:
komentarze.aspx?filmik=1&strona=1
plik ten jest ładowany w skrypcie JS - w dodatku ten plik komentarze.aspx łączy się z bazą danych MSSQL!!
I jeszcze na domiar złego mamy przycisk "następne" które ładuje dane z pliku komentarze.aspx?filmik=1&strona=2

omgz, co zrobi nasz program? czy zdekompiluje cały serwer i skopiuje bazę danych emacsem przez sendmail?

nic z tych rzeczy moi drodzy - po prostu stworzy plik na przykład komentarze.php sprawdzający czy parametry $_GET['filmik'] i $_GET['strona'] są równe "1", lub "2" - jeśli tak to wypisze to co odpowiedział nam serwer, jeśli nie - no cóż, magii tu nie ma - można zwrócić błąd, albo spróbować zwrócić odpowiedź na najbardziej podobne żądanie

Najbardziej prawdopodobne pytania jakie zada Misiekd:
No ale skąd ten program będzie wiedział żeby ściągnąć komentarze.aspx&filmik=1&strona=2 ?
Użytkownik kliknie sobie w "następne" jeśli będzie chciał żeby w lokalnej kopii to funkcjonowało

No ale skąd program będzie wiedzieć że ma kliknąć w następne
Nie, miśku - program w nic nie będzie klikać - program ma tylko nasłuchiwać żądań i zapisywać odpowiedzi. Klikać ma user

Ale ty nie rozróżniasz server-side od client-side!!!11oneone
Ważne że Ty rozróżniasz mój Ty miśku :)
Heeeej! Moglibyśmy nawet stworzyć team! Ty byś rozróżniał server-side od client-side a ja bym zajął się resztą!

No a kto dostanie wtedy nobla???
Ty Miśku, Ty...

Mam nadzieję że rozwiałem wszelkie wątpliwości, dziękuje i dobranoc

Pozostało 580 znaków

2011-09-05 21:21
0

A jeśli tam jest ramka z facebooka albo twittera to podążając za zależnościami ściągniesz pół contentu strony porno.


Women were the reason I became a monk - and, ah, the reason I switched back...

Pozostało 580 znaków

2011-09-05 21:22
SpongeBob_007
0

ściągnie dokładnie tyle ile user przeglądając stronę

Pozostało 580 znaków

2011-09-05 21:24
0

mamy też odwołanie do pliku flash.swf - co robi nasz program? ściąga ten plik flash.swf na dysk
ten plik flash.swf jednak ładuje sobie filmik movie.flv - ale co to?! odwołania do tego pliku nie ma w pliku index.html!! co robić, co robić? spokojnie - bez paniki wszystko jest w porządku, program działający jako sniffer też wypatrzy odwołanie do tego pliku i też go zwyczajnie ściągnie - nie potrzeba żadnej dekompilacji pliku .swf

No to mówię, jeśli na stronie jest ramka facebooka to zwyczajnie podążając w ten sposób dokopiesz się wreszcie do jakiejś strony porno i co gorsza pobierzesz połowę zawartości...


Women were the reason I became a monk - and, ah, the reason I switched back...

Pozostało 580 znaków

2011-09-05 21:29
SpongeBob_007
0
Demonical Monk napisał(a)

No to mówię, jeśli na stronie jest ramka facebooka to zwyczajnie podążając w ten sposób dokopiesz się wreszcie do jakiejś strony porno i co gorsza pobierzesz połowę zawartości...

ok, teraz ja za bardzo nie rozumiem Ciebie
mam wrażenie że nadal do tego programu przypisujesz zbyt dużą ideologię

program ma działać jak zwyczajny cache w przeglądarce, nie analizuje niczego poza pakietami TCP/IP - nie za bardzo rozumiem jak się ma dokopać do strony porno

Pozostało 580 znaków

2011-09-05 21:29
Rev
0

Po prostu jest to zbyt skomplikowane zagadnienie, żeby opłacało się nad nim spędzić wystarczająco dużo czasu, żeby ci się to zwróciło. Aplikacje tego typu kiedyś faktycznie miały znaczenie, ale w czasach, gdy oprócz komputerów, połowa urządzeń ma ciągły dostęp do internetu?


Pozostało 580 znaków

Odpowiedz
Liczba odpowiedzi na stronę

1 użytkowników online, w tym zalogowanych: 0, gości: 1, botów: 0