Shap-E

https://paperswithcode.com/paper/shap-e-generating-conditional-3d-implicit

Papers with Code - Shap-E: Generating Conditional 3D Implicit Functions

Unlike recent work on 3D generative models which produce a single output representation, Shap-E directly generates the parameters of implicit functions that can be rendered as both textured meshes and neural radiance fields. 

 

this paper train Shap-E in two stages:

first,  train an encoder that deterministically maps 3D assets into the parameters of an implicit function; 

second, train a conditional diffusion model on outputs of the encoder. 

When trained on a large dataset of paired 3D and text data, our resulting models are capable of generating complex and diverse 3D assets in a matter of seconds.

When compared to Point-E, an explicit generative model over point clouds, Shap-E converges faster and reaches comparable or better sample quality despite modeling a higher-dimensional, multi-representation output space.  

 

The encoder ingests both 16k resolution RGB point clouds and rendered RGBA images with augmented spatial coordinates for each foreground pixel. It outputs parameters of an MLP, which then acts as both a NeRF and a signed texture field

 

The best text-conditional results are obtained using our expanded dataset of 3D assets.

 Conclusion
We present Shap·E, a latent diffusion model over a space of 3D implicit functions that can be rendered as both NeRFs and textured meshes. We find that Shap·E matches or outperforms a similar explicit generative model given the same dataset, model architecture, and training compute. 
We also find that our pure text-conditional models can generate diverse, interesting objects without relying on images as an intermediate representation. These results highlight the potential of generating implicit representations, especially in domains like 3D where they can offer more flexibility than explicit representations.

https://huggingface.co/spaces/hysts/Shap-E

Shap-E - a Hugging Face Space by hysts