Analizator logów aplikacji

Szukam dobrego darmowego narzędzia do analizowania logów aplikacji.
Coś co będzie potrafiło sprasować dowolny plik z logami

• filtrować logi pod jakimś warunkiem, łączyć dowolnie warunki (zwykle w postaci wyrażeń regularnych)
• pokazać oś czasu z logami
• tworzyć jakieś statystyki logów
• pokolorować logi

Program nie musi obsługiwać wielkich plików. Zwykle mam logi od 2 do 10 MB (to nie są logi serwera).

Obecnie najczesciej uzywa sie stosu: filebeat -> logstash -> elasticsearch -> kibana.

Masz parę opcji do analizy:

• https://github.com/mozilla-services/hindsight
• https://www.elastic.co/products/logstash
• https://www.graylog.org/

Do gromadzenia i potem przetwarzania to chyba najlepiej ES + Kibana.

grep + egrep + zgrep + nauka regexpów (egrep to rozwiniety grep o regexpy:
https://unix.stackexchange.com/questions/17949/what-is-the-difference-between-grep-egrep-and-fgrep
)

jak bardziej to rozwinąć, to dodać jakieś skrypty perl/python/bash oparte o analizę treści (warto zacząć od grepa i samego basha, a później przejść do Python/Perl)

powinno wystarczyć ;)

@NieGooglujMnie, to dowcip czy trolling?

Splunk

No u nas analiza logów jest stricte tekstowa, ja tam korzystam z z/e/grepa plus kilkanaście funkcji w skryptach. I na luzie się z tym pracuje.
Tak naprawdę zależy to od paru czynników:

1. czy log jest 1 linijkowy, a może to java exception zawierający 40 linijek?
   no bo 1 linijkowy wpis w logu łatwo się mieli
2. czego szukamy i czy często (co innego jak codziennie, a co innego jak raz na miesiąc)
3. jaka jest struktura loga
4. czy można w firmie, środowisku zainstalować na luzie Pythona/Perla/PHP i dobrać skrypty do tego
5. czy jest grep/egrep/zgrep ?
6. czy opłaca się dopisać jakiś skrypt mielący do tego, czy uruchomić gotowe narzędzie?
7. czy to jest java ze swoimi exceptions ;)

równocześnie dodam, że chodzi o appki działające na serwerach unixowych (nie mam innych doświadczeń). Różne firmy to różne doświadczenia....

Może nie jest jakoś bardzo zaawansowany, ale lubię go używać - BareTail (https://www.baremetalsoft.com/baretailpro/index.php)

pierwsze trzy odpowiedzi w zasadzie wyczerpały temat.

Takie logi można sparsować regexem, ewentualnie ręcznie gdy danych jest niewiele

karolinaa napisał(a):

pierwsze trzy odpowiedzi w zasadzie wyczerpały temat.

Też mi się tak wydaje.
Popróbuje i zobaczymy co z tego będzie.
Dzięki.