Jeśli dobrze rozumiem zadanie (nie za dużo kontekstu podałeś, ale rozumiem że więcej nie masz).
Tak czy inaczej, chodzi chyba o to że liczba X składa się w swojej reprezentacji z 2 połówek - prawdopodobnie dlatego że nie mieści się w zwykłym int (ale naprawdę, to ty a nie ja wiesz czego dokładnie dotyczy tego algorytm). Załóżmy (dla uproszczenia) że każda połówka ma 8 bitów (żeby to miało sens, powinna mieć co najmniej 32 bity, ale to tylko taki przykład)
/ A \ / B \
X = [x x x x x x x x] [x x x x x x x x]
Teraz zakładając na przykład że X = 20, dziesiętnie będzie to wyglądało
X = (0) (20)
Czyli A = 0 i B = 20.
A dla x = 258 (max dla 8 bitów to wartość 255)
A = 1 i B = 3
(A * 255 + 3 = 258)