JScrollPane z JPanelami w środku

Mam taki problem chcę stworzyć JScrollPane w którym będzie kilka JPanel z tym że nie mam pojęcia jak się za to zabrać wszystko czego próbuje w sumie nic nie daje. Mniej więcej spróbowałem to przedstawić na rysunku.

Czy komponenty w środku tego panelu mają być rozmieszczone względem siebie czy w jakiś inny sposób?

aktualnie mają ustawioną pozycję na stałe tak żeby układały się w siatkę i tak mają być wyświetlane docelowo

Dodaj "małe" JPanele do "dużego" JPanela, a potem dodaj "dużego" JPanela do twojego JScrollPane

List<JPanel> jPanels = buildJPanels();
List<JPanel> compositeJPanel = new JPanel();
compositeJPanel.setLayout(aLayoutManagerThatFitsYourNeed);
for (JPanel jPanel : jPanels) {
    compositeJPanel.add(jPanel);
}
JScrollPane jScrollPane = new JScrollPane(compositeJPanel);