CubePart: Um gerador 3D de vocabulário aberto e controlável por partes

Os recursos 3D interativos usados em jogos e simulações são normalmente decompostos em partes semânticas específicas para dar suporte à animação, à física e a comportamentos programados; no entanto, a maioria dos modelos 3D generativos produz malhas monolíticas ou decomposições arbitrárias de partes que não podem ser alinhadas aos requisitos específicos da aplicação. Apresentamos o CubePart, uma estrutura generativa para geração de malhas 3D com vocabulário aberto e partes controláveis, que expõe a estrutura das partes como um sinal de controle explícito no momento da inferência. Dado um prompt de texto global e um esquema de partes definido pelo usuário, expresso como uma lista aberta de nomes de partes, nosso método gera um conjunto de malhas — uma por elemento do esquema — que se montam em um objeto coerente, respeitando a estrutura semântica especificada. Para viabilizar essa capacidade, introduzimos um pipeline de dados escalável para construir um grande conjunto de dados 3D com vocabulário aberto e partes rotuladas, juntamente com uma arquitetura generativa de dois estágios que separa a síntese de forma global da decodificação no nível das partes. Demonstramos que os recursos resultantes podem ser integrados diretamente em motores de jogos e acionados por scripts de animação e comportamento sem pós-processamento manual. Página do projeto