Witam,
Tworzę aplikację webową, i potrzebuję w niej tokenizować kod źródłowy który zostanie przesłany do aplikacji.
Znalazłem takie narzędzie jak ANTLR v4 i spróbowałem je zainicjować i wygląda to tak :

public class Tokenizer {
public void tokenizer(String code) {
     ANTLRInputStream in = new ANTLRInputStream(code);
        Java8Lexer lexer = new Java8Lexer(in);
        List<? extends Token> tokenList = new ArrayList<>();
        tokenList = lexer.getAllTokens();
        for(Token token : tokenList){
        System.out.println("Next token :" + token.getType() + "\n");
          }

W wyniku otrzymuje listę intów z typem tokena... a potrzebował bym nazwy tokenów czyli wynik taki jak na obrazku : obrazek
Gramatykę języka posiadam z tego źródła : https://github.com/antlr/grammars-v4/tree/master/java8
Jak otrzymać wynik który był by zbliżony do tego co jest na obrazku ?

Pozdrawiam