Masterpiece Studio：使用 AI 创建 3D：生成、编辑、分享。只需几句话即可生成游戏就绪的3D资产

Masterpiece Studio

使用 AI 创建 3D：生成、编辑、分享。只需几句话即可生成游戏就绪的3D资产。

最近在文本到图像合成方面的突破是由在数十亿个图像-文本对上训练的扩散模型推动的。将这种方法应用于 3D 合成将需要标记 3D 资产的大规模数据集和用于对 3D 数据进行去噪的高效架构，而目前两者都不存在。在这项工作中，我们通过使用预训练的 2D 文本到图像扩散模型来执行文本到 3D 合成来规避这些限制。我们引入了一种基于概率密度蒸馏的损失，该损失使得可以使用二维扩散模型作为参数化图像生成器优化的先验。在类似 DeepDream 的程序中使用这种损失，我们通过梯度下降优化随机初始化的 3D 模型（神经辐射场或 NeRF），使其从随机角度的 2D 渲染实现低损失。给定文本的最终 3D 模型可以从任何角度查看，通过任意照明重新重新绘制，或合成到任何 3D 环境中。我们的方法不需要 3D 训练数据，也不需要对图像扩散模型进行修改，证明了预训练图像扩散模型作为先验的有效性。