W grafice 3d zazwyczaj wszystko rysuje się za pomocą trójkątów ponieważ tylko te wielokąty dają 100% pewności że będą płaskie.
Załóżmy że masz te punkty rozpisane tak, że tworzą trójkąty składające się na twój wielokąt, np:
p[0], p[1], p[2] - pierwszy trójkąt
p[3], p[4], p[5] - drugi trójkąt
itd (nie wiem czy masz te punkty tak rozpisane czy nie, nawet nie wiadomo jak i za pomocą czego rysujesz, jeśli tak to bardzo dobrze).
Możesz stworzyć metodę sprawdzającą czy sześć takich liczb składających się na dwa trójkąty leżą na jednej płaszczyźnie, tu masz jakiś przykład jak wygląda sprawdzanie czy cztery punkty leżą na jednej płaszczyźnie: https://www.matematyka.pl/79295.htm - wypada sprawdzić tą metodą czy:
p[0], p[1], p[2], p[3] i
p[0], p[1], p[2], p[4] oraz
p[0], p[1], p[2], p[5]
leżą na tej samej płaszczyźnie, jeśli tak to możesz oznaczyć te dwa trójkąty jako współpłaszczyznowe.
Pozostaje tylko sprawdzić wszystkie możliwe kombinacje trójkątów i przypisać je do odpowiednich płaszczyzn, lub nie jeżeli jakimś dziwnym trafem żadne nie są współpłaszczyznowe (chociaż też tak może być).
Możliwe że ta metoda nie jest optymalna, ale wiem że bryły 3d najczęściej opisuje się za pomocą trójkątów i najłatwiej sprawdzać trójkąty (zwłaszcza jak się trochę porysuje te bryły 3d za pomocą trójkątów ).