CVPR 2026 最佳学生论文高质量3D原生紧凑结构化表示

00:24:28 大家上午好，这里是智源社区直播间。今天是智源talk的第364期。呃，我们荣幸地邀请到清华大学向建峰给大家做今天的分享。嗯，今天的分享分为前面的主题报告以及后面有QA环节。大家如果有相关问题可以把问题写在评论区。呃，田向芬后续给大家做个解答。 00:24:55 好。欢迎剑锋。好，呃，感谢主持人介绍这个各位老师同学朋友们，呃，大家好，非常感谢大家参加这个今天的分享啊，我也很荣幸能来到这个志愿社区这个平台。 00:25:13 对，给大家分享我们最新的工作，那我是这个向剑峰，是清华大学跟微软亚洲研究院联合培养的这个博士生。对，我今天介绍的工作是这个native and compact structure lats fromthree d generation,它的另一个名字就是tras2，可能大家更熟悉一点。这项工作是由我与来自这个清华大学、微软和中国科学技术大学的同学和研究员们共同完成。 00:25:36 也很荣幸在这个刚结束的这个CVPR 2026上，收获了这个最佳最佳学生论文奖。那么一句话概括呢，ches2是一个这个开源的image two three d的模型，可以从一张输入图像。去生成高质量高分辨率在PPR和3D资产的的这个3D资产。就像标题上面这个所展示的这些一样。 接下来呢，我们先用一个演示视频看看这个方法的这个能力。 00:27:08 大家可以看到这个模型的效果，个人认为还是不错的。对，但今天我想强调的并不是说我们把模型又做得更大了。确实，2的这个核心观点是，当前这个3D生成的瓶颈很多时候不是模型的规模，而是3D表示本身。如果我们不能忠实的表达真实3D资产的几何材质和拓扑，那么再大的生成模型也很难真正解决问题。 00:27:31 所以确S2呢从四个层面做设计，这也是今天我这个报告的大的这个章节目录。那么第一呢是表征。就我们提出了o voxel,这是一个field free,就是说没有没有标，没有常规的这个场的这个系数提速结构可以同时表达几何和材质。并支持这个开放曲面、非流行自相交和内部结构。 00:27:53 第二呢是这个架构上的设计，我们在vee上做了这个scvee的架构设计，它把高分辨率的voxel压缩到紧凑的这个St structure lats,实现16倍的空间下载样。比如说一个完整的这个10024分辨率的这个3D资产，我们只需要大约9.6K的latent tokens就能将它们表达，并且没有这个显著的，或者没有可观察到的这个呃质量的损失。 00:28:17 那么第三呢，是这个generation的这个算法，我们在这个传统的或者说前一代的S的基础上继续进行拓展。训练这个多阶段的flowmaing模型，分阶段的去生成这个sparksstructure shape latency以及texture lats,来打造打造搭建一个更加这个自由灵活的这个管线。 00:28:35 那么第4点呢，也是这个一切的这个实验啊工作基石就是这个基础设施。那我们去这个实现了这个flashg，它是我们为这个sparse convolution技术卷积做的这个高性能的后端，那么它使用这个Triton作为这个实现的语言，那么会同时支持呢Nvidia和AMD，甚至是这个将来更多的国产芯片解决方案的，这么一个上面的修剪机的高效实现。那么相比于现有的方案呢，提高了最高约两倍的加速。 00:29:05 那么接下来呢，我会按照这四个部分展开，先从最底层的问题开始，就是我们为什么会去需要一个新的3D表示。 00:29:17 那么在这篇文章中，我们的一个观点就是我们认为这个三维生成领域呢，目前还缺乏一个基础的针对生成而设计的这个表示。我们认为这样的表示它需要至少满足以下两个要求。 00:29:31 那么第一点呢，是它需要这个忠实的表达真实的这个几何真实的资产。那真实资产呢通常含有大量复杂的几何结构，比如说开放表面啊，非流行啊，自相交以及全封闭的内部结构。我们就可以拿这个slide上面的这个呃盆栽的资产做一个例子吧，看它的叶片。它的这个叶片的连接处的这些自相交的结构，包括一些内部的结构，这些东西都是真实资产所拥有的这些复杂的几何的性质，我们会尽量的，我们希望我们的表达能够尽量的忠实于这样的原始的信号。那么真实资产呢？还有这个渲染的需求，这让我们的表达会需要完整捕捉这个完整的材质信息。 00:30:12 举个例子，我们这里这里去去这个捕捉的是这个完整的基于物理渲染的属性，比方说是这个base color的基础颜色啊，金属度粗糙度以及这个不透明度的属性。对这些属性呢，其实之前的问题方法都没有说完整地把它们去进行一个建模。 00:30:31 那么第二点呢，我们认为是这个表达它本身需要对神经网络足够的友好，能够被神经网络高效并且有效地去把它做一个处理和压缩。那么这其实就要求这样的表达最好要是一个规整的、有结构的，这样一来我们的这个神经网络工具才能够更好地发挥它的作用。 00:30:50 那么我们去回看现有的这些表达呢，会发现它们其实各有它的短板，都不能满足我们的要求。比如说最常用的这个基于这个sist distance function啊，occupancy和f flash cubes这类基于这个等值面提取的场的这么一些方法呢，它们依赖于这个inside outside,就是区分内外的这个segmentation。它适合做一些水密的这个封闭的表面，但是并不适合做这个树叶啊纸片等等开放表面不自然，并且也容易说去丢掉一些完全被包围的内部结构，因为当你做这个内部外部分割的时候，对。容易把内部结构直接就丢弃掉了。 00:31:26 那么第二类呢，是就是之前的前身就tras V1这类的工作呢，他们会用这个feature voxels通过多视角的这个基础的视觉特征去反投影。那么问题就在于这样做呢，数据管线太重，并且它其实也并不信息也并不完善，至少对于这个被遮挡的区域，你从视觉上不可见，这样信息就被缺失掉了。 00:31:46 那么第3类呢，是这个比如说point out这样的点云的表达，它能够表达任意拓扑，但是它本身是一个。无序的不规则的一个数据，那么我们很难去利用这个神经网络的模块，去高效地对它们进行一个处理。 00:32:02 那在这个文章中呢，我们提出了这个o voxel这个应该翻译叫全能铁速，就形式上呢，就是来解答来解决上面这些问题，并且去满足我们提到的两条两个要求，形式上呢它就是一个。 00:32:15 稀疏提速网格上的一个feature tle,每个work里面会存一些feature表，表达这个局部的几何和材质的信息。那么这里一个类比呢，是我们可以把它理解成我们在试图为studioassets去定义这个像素，至于图片的这么一种定位的东西。那么像素呢，它采用的是这个二维的这个颜色场，那么与之相对的，我们在o Vox中的每一个voxel，其实它采样和存储的就是。 00:32:43 3D空间中的二维表面本身，以定义在这个二维表面上的这个颜色的材质的属性。那么具体而言呢？实际上它是稀疏网格体上的一些feature tuple.那么每一个active voxel我们会存储它的一个位置信息，也就是坐标一个三维的这个整形的一个tuple，然后分别存储两组这个feature，一组是这个shape feature,一组是右边图左边这部分，一组是这个material feature,就是右边这部分。分别去建模它的这个呃2D的表面的信息，以及在表面上的材质的信息。那么其中这些active voxel呢是跟表面相交的，这些voxel所以空的空间是不参与计算的。 00:33:22 那么O voxel最重要一点呢就是它不依赖于任何的场存在，它是一个叫fieldfree的一个形式，那么它不构造这个3D层function呢，也不做这个flat field,不做这个泛红填充，也不优化影视场，它是可以直接的从一个rowmesh，从一个rosary asset本身解析的计算出来的。接下来我们就看看我们是如何实现这些这个特性的。 00:33:44 那么ovoxel它的几何部分呢，我们称之为叫flexible dual degreeids,它的灵感来源于这个doco country,这是一个非常传统的从这个SDF中去抽取等值面的一个算法。但是这里我们就不需要SDF了，这每个每个active voxel的shape feature呢，我们会呃就是包含3个部分的，那么第一个部分是voxel内部的这个divers来表示局部表面的位置。 00:34:06 那么第二部分呢，是XYZ3个方向的这个intersection flag,它表明这个voxel的一些边是被面被面穿过，也就是被激活的。那么第三个部分呢，是这个splitting weights,它去负责一个更多的提供更多的自由度，就是我怎么把恢复出来的4边面呃去把它拆分成三角面，一会儿我们就知道为什么恢复出来的面都是这个4边面。那接下来我们就进入这个实际的算法流程，但我不会讲得太过细节，大家有一个这个大概的呃。形象的理解就好了。 00:34:37 那么从mesh到o voxel转换呢，大概分为这个3步。那么假假如说我们给定一个3D空间中的二维表面，这里如图所示，就是这个深蓝色的这个线。它实际是一个非流行的结构，你看到这里它其实不是一个呃就是完美的一个表面，它这里是有一个t junction的，对，然后这里我们用一个2D空间中的1D边缘去做一个类比，就是我这里这幅图。那么第一步呢，其实就是是就是构建这个primal gradeid以及do这个do GRS,就是这里的这个呃深这个浅灰色的这个背景网格，这就是我们的体速网格。这里的每一个cube每一个就是我们的体素，那么这里它在这个与之对偶的这个东西，我就称之为Du degreece,就是这个浅蓝色的部分。 00:35:20 那么第2步呢，是我们去计算这个ma triangle,就是这里深蓝色的线与这个primal grade h的交点。那么所有的被相交的这个边呢，在这里会标为这个绿绿色的，那并且我们会记录焦点以它的normal就定义了，这里称之为这定义了一种叫做hermit data的数据结构，其实就是每一个一个焦点和它的切平面。的这个一个一个组合。那么就需要值得注意的是，这里我们直接计算这个焦点的时候，其实不会依赖像这个马in cube一样，这里是正好这里是负号，我们作为一个差值，它是直接解析的，从这个max中计算出来的，所以我们并不需要这个水面化的这个假设。 00:35:59 那么这样一来呢，我们就得到了哪些这个边是被激活的，以及这些激活边上有哪些这个焦点以下的切平面信息。 00:36:07 与此同时呢，我们通过这些进行学习，已经可以把这个呃flexible degrees里面的几弧部分找出来了，也就是说我们现在图像中的这个呃就是标的深色的这个就是。呃，不是半透明的蓝色的部分，它其实基本上已经跟我们原始的这个几何的这个拓扑是一样的了，只是它的形状还不太像。 00:36:27 那么第三步呢，就是我们要优化这个形状。那么具体来说呢， 00:36:32 第3步我们需要去定义某个这个a function,然后去求解这个对偶顶点，就是这些蓝色顶点的最优位置。那这里的我们的希望呢，是这些对偶顶点也要它尽可能地能够贴合原始表原始的这个表面，所以我们定义了这么一个这个arrow function. 00:36:52 这其中的第1项呢，约束了这个对偶顶点到所有的这个呃就是切平面的距离。你看到左边这幅图，这个像明显就是说最小的地方就是3个斜面的交点。那么第2项呢，会去专门去解决一个开放边界处的问题，就是它会约束我的对偶顶点到开放的边界不要太远。那么第三项呢，是留给做一个小的正则化去避免这个数据精度的问题。那么这个小规模的二次问题呢可以闭式求解，所以我们的转换是非常快的。 00