Hugging Face 通过 TRELLIS.2 微调使定制 3D 模型变得实用

Hugging Face 刚刚发布了使用 LoRA 微调其先进 3D 生成模型 TRELLIS.2 的指南和工具。这是一个相当大的进步，因为它意味着小型团队现在可以根据他们的确切需求调整强大的 3D 模型，例如精确调整那些恼人的鞋底，而无需超级计算机或数据中心。

发生了什么

根据 Hugging Face 博客 的说法，他们已经发布了 TRELLIS.2 的微调脚本和容器。TRELLIS.2 是一种 3D 生成模型，以其“统一潜在表示”而闻名。这种巧妙的内部格式帮助它能够处理 GLB 和 PLY 等各种 3D 格式，以及 NeRFs 和 3D Gaussian splatting 等表示，所有这些都来自单一模型。虽然 TRELLIS.2 在通用 3D 结构方面表现出色，但通用模型在特定应用所需的关键细节上仍可能遇到障碍。例如，在他们的实验中，预训练模型生成的鞋子整体看起来不错，但鞋底却始终不正确。

为了解决这个问题，Hugging Face 使用 LoRA（低秩适应）对模型进行了微调。LoRA 是一种巧妙的技巧，它在保持原始模型大部分权重冻结的同时，训练小型适配器矩阵。这大大减少了可训练参数的数量和所需的内存，使微调变得更加容易。他们为此使用了 Hugging Face 的 PEFT 库，并将其应用于 Google 扫描对象 (GSO) 数据集的一个子集，特别是 188 个鞋类对象。

TRELLIS.2 管道涉及多个阶段：背景移除、图像编码、粗略结构预测、详细几何生成和材质生成。至关重要的是，Hugging Face 策略性地将 LoRA 适配器仅添加到“稀疏结构流 DiT”和“形状流 DiT”组件中。为什么？因为这些组件控制着对象的形状和几何。他们特意冻结了“纹理流 DiT”，因为他们的数据集（包含带有烘焙照明的漫反射颜色图）不适合训练它（它需要单独的材质图）。这也有助于避免“灾难性遗忘”，即模型忘记了它已经知道的东西。这种有针对性的方法训练了大约 930 万个适配器参数，与完全微调相比，这是一个很小的比例，特别是对于 188 个对象的小型数据集。用户可以在 Hugging Face Jobs 上或使用提供的 Docker 镜像在本地运行这些过程。据 Hugging Face 博客 报道，在 a100-large 作业上预处理 188 个对象大约需要一个小时。

为什么这对小公司很重要

这对于需要定制 3D 资产的小型企业来说是一个巨大的胜利。过去，获得高度特定的 3D 模型意味着要么为定制设计工作支付巨额费用，要么满足于“足够好”但最终在关键细节上存在缺陷的 AI 生成资产。TRELLIS.2 的这种 LoRA 微调方法改变了游戏规则。它是一种真正实用、资源高效的途径，可以获得量身定制的 3D 输出。

您不再需要庞大的计算预算或海量数据。修复鞋底的例子非常完美：它展示了如何将一个强大的通用模型进行精炼，以满足非常具体的产品需求，无论是用于电子商务产品可视化、原型设计还是专业组件。通过 Docker 在本地运行的能力是用户体验的巨大改进，也是小型团队的预算节省者。它使先进的 3D 生成民主化，将其从学术论文领域带入真正需要构建事物的人们手中。此外，他们冻结模型某些部分的明智决定表明了对如何避免常见 AI 陷阱同时最大化效率的实际理解。

本周行动

1. 探索 Hugging Face 指南： 深入阅读 Hugging Face 博客 上的“3D 生成模型权威微调指南”，了解 TRELLIS.2 的脚本、Docker 命令和管道细节。
2. 确定小众 3D 资产需求： 找出通用模型无法满足您业务的特定 3D 生成任务，例如为目录创建精确的产品变体或专业组件。
3. 准备一个小型、集中的数据集： 收集您特定 3D 资产的小型、干净数据集（例如，100-200 个对象），确保它们具有与您的微调目标相关的一致特征。

来源

• The Definitive Fine-Tuning Guide for 3D Generation Models — Hugging Face Blog