derivadas.dev

Pablo Díaz Viñambres

MSc Informatics @ TUM

Primimix: Semantic Planar Splatting para Reconstrucción 3D Estructurada

PyTorchCUDAGaussian SplattingInvestigación


Primimix es un pipeline híbrido de descomposición y renderizado de escenas desarrollado junto a Binyu Fang, Katy Grossmann, Billy Herrmann, Danit Niwattananan para nuestro proyecto del TUM Data Innovation Lab , originalmente titulado Semantic Planar Splatting for 3D Structured Reconstruction y supervisado por el Prof. Dr. Olaf Wysocki de la CV4DT Chair de la Universidad de Cambridge. El problema que abordamos es que el 3D Gaussian Splatting renderiza escenas de interiores con gran precisión, pero solo obtiene una nube desestructurada de millones de kernels. Aunque ya existen varios trabajos en la literatura que intentan regularizar este proceso, o que representan la escena con primitivas alternativas (e.g. 2DGS, MeshSplatting, GaMeS…), todavía no hay una representación que sea fotorrealista, geométricamente precisa y estructurada a la vez. Nuestro enfoque combina una representación de doble primitiva, usando planos y superquadrics, optimizados conjuntamente con 2D Gaussians colocadas sobre ellas. De esta forma, las primitivas proporcionan la estructura básica tanto para los objetos en primer plano (superquadrics) como para las regiones planas de fondo (planos), y las Gaussians, equipadas con coeficientes de Spherical Harmonics, añaden textura y detalle geométrico a la representación.

Pipeline de Primimix: densificación de nube con MoGe, segmentación 3D por instancias, inicialización de primitivas y Gaussian skinning, optimización en dos fases

Partiendo únicamente de imágenes y poses, densificamos una nube de puntos, la segmentamos en instancias, y las dividimos en dos conjuntos de primitivas: planos acotados P\mathcal{P} para las superficies estructurales, y superquadrics Q\mathcal{Q} para muebles y objetos, que juntos forman S=PQ\mathcal{S} = \mathcal{P} \cup \mathcal{Q}. Los superquadrics son una familia paramétrica de once parámetros que cubre cuboides, cilindros y elipsoides, definida por los radios ri=(rix,riy,riz)r_i=(r_i^x, r_i^y, r_i^z) y los exponentes de forma εi=(εi1,εi2)\varepsilon_i=(\varepsilon_i^1, \varepsilon_i^2).

Parametrización geométrica del primitivo planar P_i y del primitivo superquadric Q_i

Después adherimos 2D Gaussians a cada primitiva de S\mathcal{S}, optimizando primero la geometría contra profundidad y normales, y congelándola después para refinar la apariencia. En una escena representativa de ScanNet++, esto permite que Primimix explique la habitación con unos 620 bloques explícitos y 1.6M de Gaussians de superficie, frente a los 1.4-2.2M de Gaussians completamente desestructuradas que otros métodos de splatting necesitan para renderizar la misma habitación sin ninguna estructura explícita:

Estructura de la representación: la descomposición y el render de Primimix junto a la nube de puntos desestructurada de 3D Gaussian Splatting para la misma escena

En el aspecto geométrico, Primimix supera a ambos métodos de referencia en distancia de Chamfer, completitud y F-score en el dataset de ScanNet++:

MétodoChamfer↓Precisión↓Completitud↓F@5↑
PlanarSplatting10.999.5812.4144.70
3D Gaussian Flats18.604.6032.5950.24
Primimix (Ours)6.637.006.2662.80

El proyecto fue calificado con un 1.0 en el TUM DI-Lab (máxima nota), y ahora estamos refinando el método y trabajando hacia una publicación.