Obsługa klawiszy cyfr i backspace w polu tekstowym

Witam,
Chcę, aby w polu tekstowym można było wpisywać tylko cyfry i używać klawisza backspace. Napisałem taki kod jak poniżej, ale dalej mogę wpisywać litery, spacje itp, a na przykład klawisz backspace się zablokował. Jak to zrobić poprawnie?

	private void configureTfPhone(){
		txtPhone.addEventFilter(KeyEvent.KEY_PRESSED, new EventHandler<KeyEvent>() {
			@Override
			public void handle(KeyEvent event) {
				if(!event.getCode().isDigitKey()){
					event.consume();
				}
			}
		});
	}