Newshot

拆分与扩展的潜在3D表示

AI summary

潜在3D表示大幅拓展了现代形状建模的能力,使3D场景得以紧凑编码,并支撑起强大的3D生成模型。但现有表示难以捕捉复杂物体的精细细节,其根本限制在于潜在表示的容量。在训练时扩展潜在容量计算代价高昂,且常受内存限制而不可行;而在推理时简单增加潜在表示的数量,也无法有效利用新增容量。

Translation(model translation, not the source's own text)

Split-and-Scale 隐式三维表示

隐式三维表示显著扩展了现代形状建模的能力,使三维场景的紧凑编码成为可能,并支撑起强大的三维生成模型。尽管取得了这些进展,当前的表示仍难以捕捉复杂物体的精细细节,从根本上受限于其隐变量的容量。然而,在训练时扩展隐变量容量在计算上代价高昂,且在显存限制下往往不可行;而在推理时朴素地增加隐变量数量,也无法有效利用新增的容量。本文通过 split-and-scale 同时应对这两个挑战,该方法在推理时有效扩展隐变量容量,同时使训练成本保持可控。我们的关键观察是:通过将三维场景表示为三维坐标的连续函数,单个预训练 tokenizer 可以在推理时应用于场景中任意小的子区域,将相同的隐变量容量分配到更小的空间范围,从而捕捉远为更高的细节。我们通过大量消融实验研究计算量、显存、隐变量容量与重建质量之间的权衡,验证了这一洞见,并表明我们的推理时扩展方法所达到的质量,可与超出单 GPU 显存限制的更大模型相竞争。我们进一步证明,split-and-scale 支持高质量生成建模,所训练的自回归三维生成器与当前最优基线相比具有竞争力。

Only about 488 characters could be extracted — the rest did not come through (common on sites that need scrolling or a login). Read the original for the full piece.

Published by Apple Machine Learning
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗