Kopia strony offline

0

Znacie jakiś program pozwalający na zrobienie kopii strony offline, ale takiej prawdziwej na podstawie zapytań przy przeglądaniu i najlepiej też odwzorowującej strukturę katalogów

Inaczej - programów do robienia kopii offline jest multum ale z tych co widziałem wszystkie pytają o URL i "głębokość" na jaką mają odwiedzić stronę, potem robią pliki w stylu:

www.strona.pl-index.html
www.strona.pl-index.html_pliki\[tu_wszystkie_grafiki_skrypty_i_inne]

niefajnie - mi chodzi bardziej o coś co będzie podglądało mnie w jakiejś przeglądarce i ściągnęło wszystko do czego przeglądarka się odwoływała - tak żeby ściągnąć też wszystkie pliki .flv o które pyta .swf, nawet te które wymagały kliknięcia w jakiś element animacji

orgazmicznie by było gdyby ta kopia była interaktywna - czyli na przykład nie tworzyła statycznych plików .html tylko proste pliki .php - na przykład zakładając że strona używa AJAXu do pobrania jakiejś treści to żeby ten program utworzył plik .php z prostym switchem, który będzie próbował odpowiadać tak samo jak prawdziwy skrypt, wykorzystując zarejestrowane odpowiedzi do danych parametrów GET / POST

chodzi o to żeby tę stronę offline naprawdę dało się przeglądać i w przypadku średnio skomplikowanych stron wszystko było nadal równie interaktywne co na serwerze (zakładając że będziemy mieli taki sam scenariusz chodzenia po stronie i nie będziemy próbować odwiedzać stron na których nie byliśmy tworząc kopię)

Pozdro - z góry dzięki za propozycje

0

może frytki jeszcze do tego? - Rev
Taki program jest w ogóle możliwy do napisania? o.O - Patryk27

a co Waszym zdaniem jest w tym niemożliwego?
program mógłby działać jak normalny sniffer, potem włączamy przeglądarkę, przeglądamy sobie normalnie stronę jakby nigdy nic a program w tle podsłuchuje wszystkie żądania i zapisuje je sobie na twardym dysku
sam bym napisał ale dość dużo roboty

0

twoje wypowiedzi dokładnie świadczą o poziomie twojej wiedzy... Wiesz czym się różnią operacje server-side od client-side? Wytłumacz nam ciemnemu ludowi w jaki sposób chcesz tworzyć "proste pliki php" bo przypuszczam, że jeśli wymyśliłeś sposób aby przy pomocy sniffera dobrać się do plików php leżących na serwerze to spokojnie możesz po nobla startować albo przynajmniej składać aplikację do takich gigantów jak google czy facebook

0

czytanie ze zrozumieniem się kłania

program ma odpowiadać na znane mu requesty w znany sposób
czego nie rozumiecie?

nie musi się dobierać do strony server-side, nie musi nawet wiedzieć jaka jest struktura plików, ani jaki język jest używany po stronie serwera
chodzi tylko o to żeby odpowiedzi były identyczne

0

Śmiem zasugerować że jeszcze nikt inteligentnego dekompilatora do wszystkich technologii webowych nie napisał. Bo niby jak zanalizujesz w przystępny sposób wszystkie skrypty w .swfie i pobierzesz wszystkie pliki które są ładowane w runtime?

0

ok, szanowna szlachta raczyła mnie nie zrozumieć
także proszę: reboot your mind i zaczynamy od nowa - dla uniknięcia nieprzyjemnego uczucia zamotania w mózgu proszę o nie czytanie poprzednich postów

postaram się wytłumaczyć najbardziej łopatologicznie jak tylko potrafię:

mamy stronę www.example.com http dostępny pod domeną
odpalamy nasz program
potem odpalamy przeglądarkę i wpisujemy adres www.example.com

nasz program przechwytuje te żądanie i zapisuje na dysku odpowiedź serwera
jako że nie zna nazwy pliku, przyjmuje że jest to "index.html"

w tymże pliku mamy odwołanie do kilku grafik z podfolderu zdjecia/ - wszystkie te żądania też są przechwytywanie i zapisywane w lokalnym nowo utworzonym podfolderze o zaskakującej nazwie "zdjecia"

mamy też odwołanie do pliku flash.swf - co robi nasz program? ściąga ten plik flash.swf na dysk
ten plik flash.swf jednak ładuje sobie filmik movie.flv - ale co to?! odwołania do tego pliku nie ma w pliku index.html!! co robić, co robić? spokojnie - bez paniki wszystko jest w porządku, program działający jako sniffer też wypatrzy odwołanie do tego pliku i też go zwyczajnie ściągnie - nie potrzeba żadnej dekompilacji pliku .swf

ale cóż to? atakuje nas technologia AJAX!! Pod flashem są komentarze pobrane ze skryptu dla hecy nawet nie php:
komentarze.aspx?filmik=1&strona=1
plik ten jest ładowany w skrypcie JS - w dodatku ten plik komentarze.aspx łączy się z bazą danych MSSQL!!
I jeszcze na domiar złego mamy przycisk "następne" które ładuje dane z pliku komentarze.aspx?filmik=1&strona=2

omgz, co zrobi nasz program? czy zdekompiluje cały serwer i skopiuje bazę danych emacsem przez sendmail?

nic z tych rzeczy moi drodzy - po prostu stworzy plik na przykład komentarze.php sprawdzający czy parametry $_GET['filmik'] i $_GET['strona'] są równe "1", lub "2" - jeśli tak to wypisze to co odpowiedział nam serwer, jeśli nie - no cóż, magii tu nie ma - można zwrócić błąd, albo spróbować zwrócić odpowiedź na najbardziej podobne żądanie

Najbardziej prawdopodobne pytania jakie zada Misiekd:
No ale skąd ten program będzie wiedział żeby ściągnąć komentarze.aspx&filmik=1&strona=2 ?
Użytkownik kliknie sobie w "następne" jeśli będzie chciał żeby w lokalnej kopii to funkcjonowało

No ale skąd program będzie wiedzieć że ma kliknąć w następne
Nie, miśku - program w nic nie będzie klikać - program ma tylko nasłuchiwać żądań i zapisywać odpowiedzi. Klikać ma user

Ale ty nie rozróżniasz server-side od client-side!!!11oneone
Ważne że Ty rozróżniasz mój Ty miśku :)
Heeeej! Moglibyśmy nawet stworzyć team! Ty byś rozróżniał server-side od client-side a ja bym zajął się resztą!

No a kto dostanie wtedy nobla???
Ty Miśku, Ty...

Mam nadzieję że rozwiałem wszelkie wątpliwości, dziękuje i dobranoc

0

A jeśli tam jest ramka z facebooka albo twittera to podążając za zależnościami ściągniesz pół contentu strony porno.

0

ściągnie dokładnie tyle ile user przeglądając stronę

0

mamy też odwołanie do pliku flash.swf - co robi nasz program? ściąga ten plik flash.swf na dysk
ten plik flash.swf jednak ładuje sobie filmik movie.flv - ale co to?! odwołania do tego pliku nie ma w pliku index.html!! co robić, co robić? spokojnie - bez paniki wszystko jest w porządku, program działający jako sniffer też wypatrzy odwołanie do tego pliku i też go zwyczajnie ściągnie - nie potrzeba żadnej dekompilacji pliku .swf

No to mówię, jeśli na stronie jest ramka facebooka to zwyczajnie podążając w ten sposób dokopiesz się wreszcie do jakiejś strony porno i co gorsza pobierzesz połowę zawartości...

0
Demonical Monk napisał(a)

No to mówię, jeśli na stronie jest ramka facebooka to zwyczajnie podążając w ten sposób dokopiesz się wreszcie do jakiejś strony porno i co gorsza pobierzesz połowę zawartości...

ok, teraz ja za bardzo nie rozumiem Ciebie
mam wrażenie że nadal do tego programu przypisujesz zbyt dużą ideologię

program ma działać jak zwyczajny cache w przeglądarce, nie analizuje niczego poza pakietami TCP/IP - nie za bardzo rozumiem jak się ma dokopać do strony porno

0

Po prostu jest to zbyt skomplikowane zagadnienie, żeby opłacało się nad nim spędzić wystarczająco dużo czasu, żeby ci się to zwróciło. Aplikacje tego typu kiedyś faktycznie miały znaczenie, ale w czasach, gdy oprócz komputerów, połowa urządzeń ma ciągły dostęp do internetu?

0

chociaż kontynuuj - w sumie to by była szansa na dość popularny program gdyby ściągał połowę contentu stron porno

0
Rev napisał(a)

Po prostu jest to zbyt skomplikowane zagadnienie, żeby opłacało się nad nim spędzić wystarczająco dużo czasu, żeby ci się to zwróciło. Aplikacje tego typu kiedyś faktycznie miały znaczenie, ale w czasach, gdy oprócz komputerów, połowa urządzeń ma ciągły dostęp do internetu?

tak naprawdę program umożliwiałby stworzenie działającego mirrora małych stron internetowych i wrzucenie ich bez modyfikacji na swój serwer - coś podobnego do skryptów kopiujących całe fora internetowe tylko że nie dla for

2

A gdyby wpuszczano ryby do kina, i stałby w kolejce za linem lin, czy miałyby sens takie to słowa, że stoi przed kinem kolejka linowa?

0

A to nie prościej napisać wtyczkę do farifexa? Możliwe że będzie dużo prościej, wystarczy tylko zapisać co tam aktualnie się wyświetla na zakładce.

Poza tym, ściślej i bardziej jednoznacznie było by napisać "Kopia cache przeglądarki" a nie "Kopia strony offline", jak dla mnie, dwie różne rzeczy:)

0

dwa podstawowe problemy: ajax nie działa dla protokołu file, a flash może odwoływać się do adresów bezwzględnych.

3

może lepiej to nagrać jakiś programem do nagrywania wideo...

1 użytkowników online, w tym zalogowanych: 0, gości: 1