Apresentando o DreamFusion, um produto que usa o Imagen, um modelo generativo de texto para imagem, para otimizar uma cena 3D. Nosso produto apresenta Score Distillation Sampling (SDS), uma forma de gerar amostras de um modelo de difusão otimizando uma função de perda. O SDS permite a otimização de amostras em um espaço de parâmetro arbitrário, como um espaço 3D.
O DreamFusion usa uma parametrização de cena 3D semelhante a Neural Radiance Fields para definir esse mapeamento diferenciável. Nossa plataforma adiciona regularizadores adicionais e estratégias de otimização para melhorar a geometria, resultando em normais coerentes e de alta qualidade, geometria e profundidade de superfície e NeRFs reativáveis com um modelo de sombreamento Lambertiano.
Os casos de uso do DreamFusion envolvem a otimização de cenas 3D para vários aplicativos, incluindo videogames, experiências de realidade virtual e produção de filmes, fornecendo aos usuários uma ferramenta poderosa para aprimorar seus projetos criativos.
Experimente o DreamFusion hoje e experimente a facilidade e a conveniência de otimizar cenas 3D com nosso modelo generativo avançado de conversão de texto em imagem.
