Mam ListView, ustawiam sobie zaznaczenie na wybranej przeze mnie pozycji i ustawiam focus na ListView

lvLista.ItemIndex := IdWybranego;
lvLista.SetFocus;

Wygląda dobrze ale gdy zaczynam operować klawiszami strzałek (góra, dół) to zaznaczenie wraca na początek listy.

Dlaczego tak się dzieje?