Dodawanie danych do listy

Witam serdecznie !
Chciałbym napisać aplikację, w której przewijanie w dół ładuje nowe elementy. Będą to zdjęcia różnych rozmiarów ustawione obok siebie tak jak na screenie: http://prntscr.com/3irl74 .

Algorytm na ustawienie zdjęć jako taki mam.
Widzę to tak, że poprzez adapter dodawałbym raz 2 zdjęcia do elementu listy, raz 3, raz 1 zależnie od wielkości zdjęć. Chciałbym załadować np. 4 elementy listy na ekran reszta dopiero po scrollowaniu. Jednak adapter musi załadować całą listę od razu tak?(tu byłby problem)? Na scrollDown musiałby się odpalać adapter, który ładuję tylko następne elementy listy zależnie od wysokości, na której aktualnie się znajduje (elementy pobierane z bazy poprzez WebService). Przekazywałbym mu jakiś parametr, który ustalałby które zdjęcia pobrać. Nie wiem czy to jest dobre rozwiązanie.
Czy można jakoś inaczej uzupełniać listę nie poprzez adapter(o ile można)? Albo nie korzystać z listy, a zastosować inne rozwiązanie?
Proszę Was o jakiś pomysł.

dodanie zrzutu do załączników posta - furious programming

Aby poprawnie pokazać pasek ScrollBar musisz wiedzieć sumaryczną wysokość złożonych zdjęć.
Aby wiedzieć sumaryczną wysokość złożonych zdjęć musisz wczytać przynajmniej rozmiary całości i je poukładać.

Hmm myślałem o tym. W odpowiedzi z serwera razem ze zdjęciem będę otrzymywał informację o wysokości zdjęcia. Także sobie to policzę.
Widziałem w innych aplikacjach, że tak jak mówisz, są poukładane zdjęcia (ich ramki tak w zasadzie), a ScrollBar ma już wysokość, ale gdy dojedziesz do końca ScrollBar'a on się powiększa dwukrotnie, a suwak ląduje na środku. Adapter dodaje kolejną paczkę elementów?

A próbowałeś przy takich rozwiązaniach złapać suwak myszą i powoli ciągnąć na dół?

Coś takiego będzie dobre: https://github.com/etsy/AndroidStaggeredGrid
Co do uzupełniania listy, można w każdej chwili, ale najlepiej jak przewiniesz listę na sam dół.

Czyli można robić update elementu listy? :p
Listę, która przy dojechaniu do końca dodaje kolejną paczkę elementów już napisałem, tylko suwak wędruje mi z powrotem na górę, a nie zostaje w miejscu.
I teraz pytanie: Jest takie coś jak pozycja suwaka? W momencie kiedy dodaje nowe elementy do listy, wychwytywałbym pozycje suwaka i ustawiał ją po dodaniu elementów. Czy robi się to inaczej? Jakiś parametr suwak_position_change = none :D?