derivadas.dev

Pablo Díaz Viñambres

MSc Informatics @ TUM

GeMS: Geometry-aware Mesh Splatting

PyTorchCUDAGaussian SplattingInvestigación


GeMS (Geometry-aware Mesh Splatting) fue mi proyecto final para la asignatura de Machine Learning for 3D Geometry (ML3D), impartida por la Prof. Angela Dai en la TUM, junto con Shaojie Hu-Chen. Partimos de un paper de CVPR 2026, MeshSplatting, que sustituye las primitivas Gaussianas del 3D Gaussian Splatting estándar por una representación explícita y opaca de triángulos (“triangle soup”), que después se triangula para formar una malla. Aunque el enfoque es interesante y produce una calidad fotométrica decente, suele generar geometría ruidosa y rota en regiones planas simples como paredes y suelos. GeMS intenta reducir estos efectos, causados por el objetivo fotométrico sub-restringido, añadiendo tres términos de regularización Llap,Lplanar,Lshared\mathcal{L}_{\text{lap}}, \mathcal{L}_{\text{planar}}, \mathcal{L}_{\text{shared}} sobre la pérdida fotométrica durante el entrenamiento: un término de suavidad Laplaciana + consistencia de normales que amortigua el ruido y el plegado entre vértices, una pérdida de alineación con planos (alineación coseno con la normal + L1 con el centro) que usa una representación optimizada proporcionada por PlanarSplatting, y una pérdida de fronteras semánticas que penaliza los triángulos compartidos entre dos objetos distintos.

Visión general del pipeline de GeMS, desde la detección de planos hasta la malla final

En Mip-NeRF360 y ScanNet++, GeMS mejora claramente la calidad geométrica, con Chamfer-L1, F-score y consistencia de normales mejorando en conjunto, manteniendo una calidad fotométrica igual o mejor que la del método base. Además, reduce el porcentaje de triángulos ambiguos compartidos entre instancias de objetos (del 12.33% al 10.33% en nuestro subconjunto de ScanNet++). El componente de alineación con planos (Lplanar\mathcal{L}_{\text{planar}}) resultó ser el más determinante de nuestro método:

MétodoPSNR↑Chamfer-L1↓F-score↑Tri. compartidos↓
MeshSplatting19.630.1100.54012.33%
+ Lgeo\mathcal{L}_{\text{geo}}19.720.0680.58811.29%
+ Lplanar\mathcal{L}_{\text{planar}}20.590.0560.62912.85%
+ Lshared\mathcal{L}_{\text{shared}}20.540.0680.57112.98%
GeMS (Ours)19.9950.0620.63010.33%
Comparación cualitativa de renders RGB y mapas de normales entre las distintas ablaciones, el método base y la referencia real