克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

腾讯混元3D模型，又又又上新了！

这次带来的是艺术级3D生成模型Hunyuan3D-PolyGen，支持生成面数上万的复杂几何模型。

而且这个模型可以把3D模型变成资产，鹅厂自己的游戏开发工作室用上之后，美术师建模效率提升了超70%。

有网友表示，AI已经学会了拓扑，自己已经很久没有对AI生成3D感到如此兴奋了。

目前，模型的拓扑功能已在混元3D工作台上线，与其他功能共享每天20次的免费使用额度。

实测“艺术级”3D生成模型

美术级的模型生成和一般的3D建模，区别主要有这几个方面：

• 面数：需要满足游戏实时加载与渲染的需求，美术Mesh相对于一般的3D生成Mesh面数更少；
• 布线质量：后续还需要进行UV展开、骨骼绑定等环节，需要高效、规整的布线；
• 组件式结构：美术师需要对模型进行后期编辑，需要将生成的模型拆分成组件以便后期操作。

那么，混元3D的表现如何呢？来看量子位的实测。

模型的入口是混元3D平台（链接见文末）的“3D智能拓扑”功能，支持文字生成以及单张或最多四张参考图。

目前，该功能支持以三角形或四边形两种形式对模型进行拓扑。

第一个测试样品，是一架波音747飞机，我们选择三角面拓扑。

先看大致轮廓，生成的结果是这样的：

像发动机等细节部位，也进行了工整、精细的划分。

第二道题，是一个毛绒玩具，这里直接拿线稿来试验。

拓扑操作后，不仅原有细节得到了保留，混元3D还对物体的表面进行了更为细致的拓扑化。

另外，智能拓扑也支持对现有的模型进行调整，转化成面数更低、布线更规整的“艺术级模型”。

比如这辆奔驰小轿车，原来的模型转换成白模之后是这样的：

经过拓扑处理之后，不仅结构完整，线条分布整齐、疏密布局合理，车内的方向盘、座椅等内饰也都能完整呈现。

总的来说，混元3D-PolyGen在基本保留物体细节特征的情况下，确实能够实现生成面数适当、布线整洁的“艺术级”3D模型。

并且根据混元3D团队发布的报告，混元3D-PolyGen相比竞品的重拓扑/AI拓扑方法，可以利用更低的面数实现更好的细节。

那么，混元3D-PolyGen是如何实现的呢？

解决复杂物体建模和稳定性

目前混元3D团队还未发布混元3D-PolyGen的完整技术报告，但对其核心的原理和技术进行了简要介绍。

★自回归生成框架

整体上，Hunyuan3D-PolyGen采用了自回归网格生成框架，通过顶点与面片建模进行空间推理。

具体来说，这个框架包括了三个核心环节——先把网格变成Tokens，然后交给自回归模型处理，最后再变回网格。

在正式的自回归建模开始之前，Hunyuan3D-PolyGen会用点云编码器对网格进行序列化，也就是将网格的顶点和面片转化为Token序列，用以表示Mesh结构。

所谓Mesh结构就是用来表示三维物体表面的多边形网格，包含了顶点、边、面、法线等信息。

完成转换之后，Hunyuan3D-PolyGen以点云作为输入Prompt，利用自回归模型生成以Token序列形式表示的Mesh结构。

完成生成之后就是对这个Tokens序列进行解码，还原成Mesh结构，构建出3D网格。

★压缩mesh结构，解决复杂物体建模

为了解决复杂物体的建模问题，混元3D技术团队自研了高压缩率mesh表征BPT。

在现有的mesh自回归建模方式当中，mesh表达的冗余程度较高，仅一个面就需要用9个Token（3个顶点×3维坐标）。

而自回归模型的上下文窗口有限，对两千个面以下的简单模型还可以进行建模，但对于面数更多的模型就无法建模了。

混元3D团队的思路是对mesh结构进行压缩，于是设计了高压缩率mesh表征BPT（Blocked and Patchified Tokenization)，减少表达相同mesh所需的token数量。

具体来说，这项技术包括block索引和patch压缩两个核心环节。

block索引是指将网格空间分成多个block，顶点的表征由(x,y,z)空间坐标转化为(block, offset)索引坐标，这样三维坐标就变成了二维，token数量可以减少三分之一。

patch压缩则是将相邻面片组成patch（一个中心顶点和边缘顶点），减少相邻面片之间共用顶点的冗余，结合共享block等技巧，token数量可进一步降低约41%。

结合block索引和patch压缩，表征mesh结构的token数量可减少74%，表征一个面需要的token数量从9个减少到了平均2.3个。

所以，在相同的上下文窗口下，模型的可建模面数大幅提升，可建模的模型更加复杂（可达2w+面）、细节更多。

★强化学习后训练，提高生成稳定性

由于表示mesh结构的token序列很长且容错率低，造成了建模的稳定性不足，也就是同一个模型的多次生成结果可能存在很大差异。

所以，混元3D团队研发了mesh自回归的强化学习后训练框架。

该框架在预训练模型的基础上进行后训练，将布线规整度、几何一致性、面片破损率等美术规范作为奖励指标，引导模型生成更好的结果。

结果，混元3D-PolyGen在生成的稳定性、细节、布线质量等方面均优于目前SOTA模型。

参考链接：
https://mp.weixin.qq.com/s/l12y2IPExhvz2fvUJPm-tw
体验地址：
https://3d.hunyuan.tencent.com/

— 完 —

量子位 QbitAI

关注我们，第一时间获知前沿科技动态