derivadas.dev

Pablo Díaz Viñambres

MSc Informatics @ TUM

Matching Disconnected Shapes: correspondencia 3D bajo parcialidad con desconexión

Shape MatchingPyTorch3D Generative ModelsInvestigación


El shape matching es un problema clásico de la geometría computacional que busca encontrar correspondencias punto a punto entre dos superficies 3D. El partial shape matching lo hace cuando una de ellas está incompleta. La mayoría de métodos, incluido el que usamos como base (ULRSSM), se apoyan en functional maps: una base compartida construida a partir de las autofunciones del operador de Laplace-Beltrami (LBO) de cada forma, lo que asume implícitamente una superficie conexa. Si se corta una forma en varios fragmentos espacialmente desconectados, el functional map deja de funcionar. Los benchmarks existentes (p. ej. SHREC16, BeCoS) solo manejan el caso de un único componente conexo. Junto con Mehdi Chehaider, exploré qué ocurre con la desconexión real, donde los métodos de correspondencia existentes fallan casi de inmediato.

Primero construimos un dataset para esto, adaptando el codebase de BeCoS, que usa raycasting para fragmentar formas, sobre distintos benchmarks base (p. ej. SCAPE, FAUST, DeformingThings4D, TOSCA). Además de una baseline con viewpoints aleatorios, diseñamos una estrategia de selección de viewpoint guiada por no-convexidad: renderiza mapas de profundidad desde direcciones candidatas, detecta las discontinuidades de profundidad que separan una silueta, y muestrea las vistas que producen componentes desconectados más equilibrados. De esta forma podemos generar ejemplos difíciles rápidamente — arrastra las formas de abajo para ver una malla de test por dataset, con sus componentes desconectados más grandes en su propio color y los fragmentos residuales en gris:

FAUST — 5 componentes más grandes
SCAPE — 5 componentes más grandes
TOSCA — 5 componentes más grandes
DT4D Animals — 5 componentes más grandes

Reconstrucción como prior de matching

Nuestra idea central para resolver el problema del matching es usar un modelo generativo 3D como prior de forma para reconstruir el objeto completo a partir de sus fragmentos, hacer matching contra esa reconstrucción, y proyectar la correspondencia de vuelta sobre la malla desconectada:

Mapeo a través de reconstrucciones: una malla desconectada M_A se completa en una reconstrucción M_recA vía correspondencia por vecino más cercano, se hace matching contra la plantilla M_0 mediante ULRSSM, y el mapa compuesto se compara contra la correspondencia de referencia.

Comparamos cuatro enfoques de reconstrucción: primero un método base de zippering geométrico (bridging), después completado de nubes de puntos vía PoinTr y Poisson Surface Reconstruction, y finalmente dos modelos generativos de imagen-a-3D, Hunyuan3D y Pixal3D. Entrenamos ULRSSM sobre cada uno y medimos el error geodésico y la calidad de reconstrucción. Hunyuan3D dio los mejores resultados, con reconstrucciones suaves y bien alineadas que preservan casi toda la calidad de correspondencia, mientras que bridging resultó ser una baseline no aprendida sorprendentemente sólida en mallas humanas. Nuestra principal conclusión es que hacer matching de formas desconectadas ya es un problema abordable gracias a los modelos generativos 3D recientes, y nuestro objetivo es seguir trabajando en esta línea de investigación y publicar pronto un paper que describa el enfoque en detalle.

Resultados

Cada malla de abajo se colorea transfiriendo el color propio (basado en coordenadas) de la Plantilla a través de su correspondencia punto a punto predicha, así que un color suave y coherente indica una correspondencia precisa, y uno desordenado indica que falló. Puedes elegir mostrar el mapeo (vía vecino más cercano) hacia la malla desconectada, que es lo que se evalúa, o la reconstrucción completa, que es lo que se matchea.

Plantilla
GT
Bridging
PoinTr
Hunyuan3D
Pixal3D
FAUST
TOSCA
n/d
n/d

Las siguientes dos tablas confirman los resultados visuales. Mientras que Hunyuan3D y Pixal3D están bastante igualados en calidad de reconstrucción, Hunyuan3D lidera en calidad de matching, lo que atribuimos a una geometría más regular.

FAUST - métricas de reconstrucción

MétodoCD-L1 (cm)↓CD-L2 (cm²)↓F1@2cm↑F1@5cm↑
PoinTr3.09±1.2827.95±23.310.58±0.160.81±0.11
Hunyuan3D2.41±1.0215.57±19.150.63±0.150.90±0.08
Pixal3D2.56±1.3219.33±30.750.59±0.140.90±0.10

FAUST - métricas de calidad de matching

MétodoError Geodésico↓AOC↑
Bridging0.230±0.1280.276±0.189
PoinTr0.311±0.0860.140±0.136
Hunyuan3D0.078±0.0970.561±0.194
Pixal3D0.327±0.2280.246±0.289