Hugging Face hace que los modelos 3D personalizados sean prácticos con el ajuste fino de TRELLIS.2

Hugging Face acaba de lanzar una guía y herramientas para el ajuste fino de TRELLIS.2, su modelo avanzado de generación 3D, utilizando LoRA. Esto es bastante importante porque significa que los equipos pequeños ahora pueden adaptar potentes modelos 3D a sus necesidades exactas, como conseguir que las molestas suelas de los zapatos queden perfectas, sin necesidad de una supercomputadora o un centro de datos.

Qué sucedió

Según el Blog de Hugging Face, han lanzado scripts y contenedores de ajuste fino para TRELLIS.2, un modelo de generación 3D conocido por su "representación latente unificada". Este sofisticado formato interno le ayuda a manejar el salvaje oeste de formatos 3D como GLB y PLY, y representaciones como NeRFs y 3D Gaussian splatting, todo desde un único modelo. Si bien TRELLIS.2 es excelente para la estructura 3D general, un modelo de propósito general aún puede tropezar con detalles específicos cruciales para aplicaciones particulares. Por ejemplo, en su experimento, el modelo preentrenado generó zapatos que se veían bien en general, pero las suelas eran consistentemente incorrectas.

Para abordar esto, Hugging Face utilizó LoRA (adaptación de bajo rango) para ajustar el modelo. LoRA es un truco inteligente que entrena pequeñas matrices adaptadoras mientras mantiene congelados la mayoría de los pesos del modelo original. Esto reduce drásticamente el número de parámetros entrenables y la memoria necesaria, haciendo que el ajuste fino sea mucho más accesible. Utilizaron la biblioteca PEFT de Hugging Face para esto, aplicándola a un subconjunto del conjunto de datos Google Scanned Objects (GSO), específicamente 188 objetos de calzado.

El pipeline de TRELLIS.2 implica múltiples etapas: eliminación de fondo, codificación de imagen, predicción de estructura gruesa, generación de geometría detallada y generación de material. Fundamentalmente, Hugging Face añadió estratégicamente adaptadores LoRA solo a los componentes "sparse-structure flow DiT" y "shape flow DiT". ¿Por qué? Porque estos son los que controlan la forma y la geometría del objeto. Congelaron específicamente el "texture flow DiT" porque su conjunto de datos, que tenía mapas de color difuso con iluminación horneada, no era adecuado para entrenarlo (necesita mapas de material separados). Esto también ayudó a evitar el "olvido catastrófico", donde un modelo olvida lo que ya sabe. Este enfoque dirigido entrenó aproximadamente 9.3 millones de parámetros adaptadores, lo cual es una fracción minúscula en comparación con el ajuste fino completo, especialmente para un pequeño conjunto de datos de 188 objetos. Los usuarios pueden ejecutar estos procesos en Hugging Face Jobs o localmente utilizando las imágenes Docker proporcionadas. El preprocesamiento de los 188 objetos tomó aproximadamente una hora en un trabajo a100-large, informa el Blog de Hugging Face.

Por qué es importante para las pequeñas empresas

Esto es una gran victoria para las pequeñas empresas que necesitan activos 3D personalizados. Históricamente, obtener modelos 3D altamente específicos significaba desembolsar grandes sumas de dinero por trabajo de diseño personalizado o conformarse con activos generados por IA que eran 'suficientemente buenos' pero en última instancia defectuosos en detalles críticos. Este enfoque de ajuste fino LoRA para TRELLIS.2 cambia las reglas del juego. Es un camino genuinamente práctico y eficiente en recursos para obtener resultados 3D a medida.

Ya no se necesita un presupuesto de cómputo masivo o un océano de datos. El ejemplo de arreglar las suelas de los zapatos es perfecto: demuestra cómo se puede tomar un modelo potente de propósito general y refinarlo para necesidades de producto muy específicas, ya sea para visualización de productos de comercio electrónico, prototipado o componentes especializados. La capacidad de ejecutar esto localmente a través de Docker es una mejora masiva en la experiencia de usuario y un ahorro de presupuesto para equipos pequeños. Democratiza la generación 3D avanzada, sacándola del ámbito de los artículos académicos y poniéndola en manos de personas que realmente necesitan construir cosas. Además, su inteligente decisión de congelar ciertas partes del modelo muestra una comprensión práctica de cómo evitar errores comunes de la IA mientras se maximiza la eficiencia.

Qué hacer esta semana

1. Explora la Guía de Hugging Face: Sumérgete en la "Guía Definitiva de Ajuste Fino para Modelos de Generación 3D" en el blog de Hugging Face para comprender los scripts, comandos de Docker y detalles del pipeline para TRELLIS.2.
2. Identifica una Necesidad de Activo 3D de Nicho: Identifica una tarea específica de generación 3D donde un modelo general se queda corto para tu negocio, como la creación de variaciones de productos precisas o componentes especializados para un catálogo.
3. Prepara un Conjunto de Datos Pequeño y Enfocado: Reúne un conjunto de datos pequeño y limpio (por ejemplo, 100-200 objetos) de tus activos 3D específicos, asegurándote de que tengan características consistentes relevantes para tu objetivo de ajuste fino.

Fuentes

• The Definitive Fine-Tuning Guide for 3D Generation Models — Hugging Face Blog