Hugging Face rend les modèles 3D personnalisés pratiques grâce au réglage fin de TRELLIS.2

Hugging Face vient de publier un guide et des outils pour le réglage fin de TRELLIS.2, son modèle avancé de génération 3D, en utilisant LoRA. C'est un événement majeur car cela signifie que les petites équipes peuvent désormais adapter de puissants modèles 3D à leurs besoins exacts, comme obtenir des semelles de chaussures parfaitement correctes, sans avoir besoin d'un superordinateur ou d'un centre de données.

Ce qui s'est passé

Selon le blog de Hugging Face, ils ont déployé des scripts et des conteneurs de réglage fin pour TRELLIS.2, un modèle de génération 3D connu pour sa « représentation latente unifiée ». Ce format interne sophistiqué l'aide à gérer la diversité des formats 3D comme GLB et PLY, et des représentations telles que les NeRFs et le 3D Gaussian splatting, le tout à partir d'un seul modèle. Bien que TRELLIS.2 soit excellent pour la structure 3D générale, un modèle à usage général peut toujours buter sur des détails spécifiques cruciaux pour des applications particulières. Par exemple, dans leur expérience, le modèle pré-entraîné a généré des chaussures qui semblaient correctes dans l'ensemble, mais les semelles étaient systématiquement incorrectes.

Pour résoudre ce problème, Hugging Face a utilisé LoRA (low-rank adaptation) pour affiner le modèle. LoRA est une astuce astucieuse qui entraîne de petites matrices d'adaptateurs tout en gardant la plupart des poids du modèle original gelés. Cela réduit considérablement le nombre de paramètres entraînables et la mémoire nécessaire, rendant le réglage fin beaucoup plus accessible. Ils ont utilisé la bibliothèque PEFT de Hugging Face à cette fin, l'appliquant à un sous-ensemble du jeu de données Google Scanned Objects (GSO), spécifiquement 188 objets de chaussures.

Le pipeline TRELLIS.2 implique plusieurs étapes : suppression de l'arrière-plan, encodage d'image, prédiction de structure grossière, génération de géométrie détaillée et génération de matériaux. De manière cruciale, Hugging Face a stratégiquement ajouté des adaptateurs LoRA uniquement aux composants « sparse-structure flow DiT » et « shape flow DiT ». Pourquoi ? Parce que ce sont eux qui contrôlent la forme et la géométrie de l'objet. Ils ont spécifiquement gelé le « texture flow DiT » car leur jeu de données, qui contenait des cartes de couleurs diffuses avec un éclairage précalculé, n'était pas adapté à son entraînement (il nécessite des cartes de matériaux séparées). Cela a également permis d'éviter l'« oubli catastrophique », où un modèle oublie ce qu'il sait déjà. Cette approche ciblée a entraîné environ 9,3 millions de paramètres d'adaptateur, ce qui est une infime fraction par rapport à un réglage fin complet, surtout pour un petit jeu de données de 188 objets. Les utilisateurs peuvent exécuter ces processus sur Hugging Face Jobs ou localement en utilisant les images Docker fournies. Le prétraitement des 188 objets a pris environ une heure sur un job a100-large, rapporte le blog de Hugging Face.

Pourquoi c'est important pour les petites entreprises

C'est une victoire majeure pour les petites entreprises qui ont besoin d'actifs 3D personnalisés. Historiquement, obtenir des modèles 3D très spécifiques signifiait soit dépenser beaucoup d'argent pour un travail de conception sur mesure, soit se contenter d'actifs générés par l'IA qui étaient « suffisamment bons » mais finalement imparfaits dans des détails cruciaux. Cette approche de réglage fin LoRA pour TRELLIS.2 change la donne. C'est une voie véritablement pratique et économe en ressources pour obtenir des sorties 3D sur mesure.

Vous n'avez plus besoin d'un budget de calcul énorme ou d'un océan de données. L'exemple de la correction des semelles de chaussures est parfait : il démontre comment vous pouvez prendre un modèle puissant et polyvalent et l'affiner pour des besoins de produits très spécifiques, que ce soit pour la visualisation de produits e-commerce, le prototypage ou des composants spécialisés. La possibilité d'exécuter cela localement via Docker est une amélioration massive de l'expérience utilisateur et une économie budgétaire pour les petites équipes. Cela démocratise la génération 3D avancée, la faisant passer du domaine des articles universitaires aux mains des personnes qui ont réellement besoin de construire des choses. De plus, leur décision intelligente de geler certaines parties du modèle montre une compréhension pratique de la manière d'éviter les pièges courants de l'IA tout en maximisant l'efficacité.

Que faire cette semaine

1. Explorez le guide Hugging Face : Plongez dans le « Definitive Fine-Tuning Guide for 3D Generation Models » sur le blog de Hugging Face pour comprendre les scripts, les commandes Docker et les détails du pipeline pour TRELLIS.2.
2. Identifiez un besoin d'actif 3D de niche : Déterminez une tâche de génération 3D spécifique où un modèle général est insuffisant pour votre entreprise, comme la création de variations de produits précises ou de composants spécialisés pour un catalogue.
3. Préparez un petit jeu de données ciblé : Rassemblez un petit jeu de données propre (par exemple, 100-200 objets) de vos actifs 3D spécifiques, en vous assurant qu'ils présentent des caractéristiques cohérentes et pertinentes pour votre objectif de réglage fin.

Sources

• The Definitive Fine-Tuning Guide for 3D Generation Models — Hugging Face Blog