Wątek przeniesiony 2017-02-01 05:28 z Nietuzinkowe tematy przez Rev.

Plik tekstowy 5GB

0

Mam do analizy log (jawny tekst, znak końca linii LF - tak jak w Linux/Unix) o wielkości 5GB. Notepad++ nie otwiera tak dużego pliku.
Czym otworzyć?

0

Nie musisz otwierać pliku żeby go analizować.

0
IceHeart napisał(a):

Nie musisz otwierać pliku żeby go analizować.

No to dobra, chce go przejrzeć.

0

Na Linuxie z powodzeniem duże pliki otwierałem za pomocą Joe, nie wiem jak na windę :P

1

Tylko przejrzeć? less. Warto będzie zapewne wrzucić plik do RAM-u (tmpfs).

2

@phaxe hmm ale ty sobie zdajesz sprawę z tego ile to jest 5GB tekstu? Co ty tam chcesz sobie przeglądać? Przecież w takim wielkim pliku to nic nie zobaczysz choćbyś był wróżbitą Maciejem. 5GB tekstu to jest połowa całej wikipedii ;)
Anyway faktycznie more albo less pewnie będą się nadawać, albo cokolwiek innego co potrafi strumieniować tekst.

0
Shalom napisał(a):

@phaxe hmm ale ty sobie zdajesz sprawę z tego ile to jest 5GB tekstu?

Wiem np. 5 368 709 120 znaków ascii. Mam skalę porównawczą - C64 mógł w swojej pamięci pomieścić tylko 65 536 znaków (bajtów).

Co ty tam chcesz sobie przeglądać?

Chcę zobaczyć strukturę pliku i wyszukiwać konkretne dane.
Wiem, że:

 cat xyz.log | grep costam

też da radę, ale wolałbym coś takiego jak Notepad++ (pod Windows lub Linux), żeby otworzyć plik i użyć funkcji szukaj.

0

Jeśli chodzi o naprawdę duże pliki, to u mnie dawał sobie z nimi radę tylko HEX Editor - ale to były pliki tak do 2GB.

Zastanów się, czy nie sensowniej jednak zrobić:

cat xyz.log | grep costam > efekt.szukania.txt

I dopiero takie coś próbować otwierać edytorami.

0

Dla takich dużych plików, bezwzględnie nie cat plik | grep wzorzec, tylko grep wzorzec plik, a jak nie potrzebujesz wyrażeń regularnych, to nawet fgrep wzorzec plik.

Jakiekolwiek bardziej zaawansowane programy się będą zatykać, bo edytory tekstu nie trzymają tekstu w pamięci jako takiego, ale go przekształcają tak, by przyspieszyć różne operacje, takie jak właśnie wyszukiwanie.

Możesz sprawdzić, czy Ci to vi łyknie (tylko go nie konfiguruj; nie dodawaj mu pluginów, podświetlania składni czy czego tam jeszcze…), ale nie wróżę sukcesu.

0

A spróbuj wordem albo writerem (odpowiednik z open office)

0

tylko dwa programy otwieraja tak duze pliki

Sublime Text
Vim

Wiekszosc edytorow po prostu sie wykrzacza przy takich plikach (pracowalem na logach 0.5GB i tylko te dwa programy potrafily je otworzyc)

0

Znalazłem coś co sobie radzi z takimi ogromnymi plikami z opcją wyszukiwania tekstu - Large Text File Viewer:
http://www.softpedia.com/get/Office-tools/Other-Office-Tools/Large-Text-File-Viewer.shtml

1 użytkowników online, w tym zalogowanych: 0, gości: 1