Witam.
Poszukuję algorytmu kompresji plików, gdzie mógłbym plik podzielić na części, a następnie każdą część poddać osobno kompresji w środowisku rozproszonym, po czym wszystkie powstałe "paczki" scalić w jedno archiwum.
Jakim algorytmem powinienem się zainteresować?
Dzięki
Hmm, dowolnym? Skoro chcesz podzielić plik na kawałki i kompresować osobno te kawałki, to tak po prostu zrób. Wszystkie powstałe pliki możesz zgrupować w ZIPie.
No chyba, że chodzi ci o łatwe scalanie archiwów bez zmiany formatu i bez kolejnego zagnieżdżania plików. W takim razie na początek polecam np bzip2. W przypadku bzip2:
unbz2(plik1.bz2) + unbz2(plik2.bz2)
da to samo co
unbz2(plik1.bz2 + plik2.bz2)
gdzie + to zwykłe złączenie plików.
Chcę zrobić coś takiego, że np. biorę kolejne porcje po 500kB z pliku źródłowego, kompresuję, i te skompresowane dane wkładam do pliku wyjściowego, jedna po drugiej. Ważne, aby porcje mogły być kompresowane niezależnie od siebie, aby obliczenia można było zrównoleglić.
Edit:
bzip2 -> będzie dla mnie w sam raz, dzięki ;)