Musisz znaleźć sposób, aby zidentyfikować obiekt, który leży pod kursorem. Możesz poguglać: "opengl picking". W najowszych w pełni programowalnych potokach OpenGL bufor wyboru (czy jak go tam zwał, Select Buffer) jest niedostępny i wybieranie trzeba zaprogramować samemu.
Samodzielnie (bez użycia specjalizowanych funkcji) możesz osiągnąć swój cel np poprzez np rysowanie do osobnego bufora (nie na ekran) obiektów, każdy w innym kolorze (trzeba wtedy wyłączyć cieniowania i shadery), a potem wczytać kolor piksela spod kursora i zidentyfikować obiekt za pomocą tego koloru. Jeśli interesuje cię tylko jeden piksel to możesz włączyć Scissor Test i odblokować modyfikację tylko tego jednego piksela.
Oczywiście jak już zidentyfikowałeś obiekt to go zapamiętujesz i pamiętasz aż do momentu zwolnienia przycisku myszki. Dzięki temu wiesz, który obiekt masz przesuwać wraz z ruchami myszki.
ATSD:
Temat się nadaje do działu Inne w sumie, wg mnie.