Mam do analizy log (jawny tekst, znak końca linii LF - tak jak w Linux/Unix) o wielkości 5GB. Notepad++ nie otwiera tak dużego pliku.
Czym otworzyć?
Nie musisz otwierać pliku żeby go analizować.
IceHeart napisał(a):
Nie musisz otwierać pliku żeby go analizować.
No to dobra, chce go przejrzeć.
Na Linuxie z powodzeniem duże pliki otwierałem za pomocą Joe, nie wiem jak na windę :P
Tylko przejrzeć? less
. Warto będzie zapewne wrzucić plik do RAM-u (tmpfs
).
@phaxe hmm ale ty sobie zdajesz sprawę z tego ile to jest 5GB tekstu? Co ty tam chcesz sobie przeglądać? Przecież w takim wielkim pliku to nic nie zobaczysz choćbyś był wróżbitą Maciejem. 5GB tekstu to jest połowa całej wikipedii ;)
Anyway faktycznie more albo less pewnie będą się nadawać, albo cokolwiek innego co potrafi strumieniować tekst.
Shalom napisał(a):
@phaxe hmm ale ty sobie zdajesz sprawę z tego ile to jest 5GB tekstu?
Wiem np. 5 368 709 120 znaków ascii. Mam skalę porównawczą - C64 mógł w swojej pamięci pomieścić tylko 65 536 znaków (bajtów).
Co ty tam chcesz sobie przeglądać?
Chcę zobaczyć strukturę pliku i wyszukiwać konkretne dane.
Wiem, że:
cat xyz.log | grep costam
też da radę, ale wolałbym coś takiego jak Notepad++ (pod Windows lub Linux), żeby otworzyć plik i użyć funkcji szukaj.
Jeśli chodzi o naprawdę duże pliki, to u mnie dawał sobie z nimi radę tylko HEX Editor - ale to były pliki tak do 2GB.
Zastanów się, czy nie sensowniej jednak zrobić:
cat xyz.log | grep costam > efekt.szukania.txt
I dopiero takie coś próbować otwierać edytorami.
Dla takich dużych plików, bezwzględnie nie cat plik | grep wzorzec
, tylko grep wzorzec plik
, a jak nie potrzebujesz wyrażeń regularnych, to nawet fgrep wzorzec plik
.
Jakiekolwiek bardziej zaawansowane programy się będą zatykać, bo edytory tekstu nie trzymają tekstu w pamięci jako takiego, ale go przekształcają tak, by przyspieszyć różne operacje, takie jak właśnie wyszukiwanie.
Możesz sprawdzić, czy Ci to vi
łyknie (tylko go nie konfiguruj; nie dodawaj mu pluginów, podświetlania składni czy czego tam jeszcze…), ale nie wróżę sukcesu.
A spróbuj wordem albo writerem (odpowiednik z open office)
tylko dwa programy otwieraja tak duze pliki
Sublime Text
Vim
Wiekszosc edytorow po prostu sie wykrzacza przy takich plikach (pracowalem na logach 0.5GB i tylko te dwa programy potrafily je otworzyc)
Znalazłem coś co sobie radzi z takimi ogromnymi plikami z opcją wyszukiwania tekstu - Large Text File Viewer:
http://www.softpedia.com/get/Office-tools/Other-Office-Tools/Large-Text-File-Viewer.shtml