Hugging Face Uczynił Niestandardowe Modele 3D Praktycznymi dzięki Dostrajaniu TRELLIS.2

Hugging Face właśnie opublikowało przewodnik i narzędzia do dostrajania TRELLIS.2, swojego zaawansowanego modelu generowania 3D, za pomocą LoRA. To dość duża sprawa, ponieważ oznacza, że małe zespoły mogą teraz dostosować potężne modele 3D do swoich dokładnych potrzeb, na przykład idealnie dopasować te irytujące podeszwy butów, bez potrzeby superkomputera czy centrum danych.

Co się stało

Według bloga Hugging Face, udostępnili skrypty i kontenery do dostrajania TRELLIS.2, modelu generowania 3D znanego z „ujednoliconej reprezentacji latentnej”. Ten fantazyjny wewnętrzny format pomaga mu radzić sobie z dzikim zachodem formatów 3D, takich jak GLB i PLY, oraz reprezentacjami takimi jak NeRFy i 3D Gaussian splatting, wszystko z jednego modelu. Chociaż TRELLIS.2 jest świetny do ogólnej struktury 3D, model ogólnego przeznaczenia może nadal potykać się na specyficznych szczegółach kluczowych dla konkretnych zastosowań. Na przykład, w ich eksperymencie, wstępnie wytrenowany model generował buty, które ogólnie wyglądały dobrze, ale podeszwy były konsekwentnie nieprawidłowe.

Aby temu zaradzić, Hugging Face użyło LoRA (low-rank adaptation) do dostrojenia modelu. LoRA to sprytna sztuczka, która trenuje małe macierze adapterów, jednocześnie utrzymując większość wag oryginalnego modelu w stanie zamrożonym. To drastycznie zmniejsza liczbę trenowalnych parametrów i potrzebną pamięć, czyniąc dostrajanie znacznie bardziej dostępnym. Użyli do tego biblioteki PEFT Hugging Face, stosując ją do podzbioru zbioru danych Google Scanned Objects (GSO), a konkretnie 188 obiektów obuwia.

Potok TRELLIS.2 obejmuje wiele etapów: usuwanie tła, kodowanie obrazu, przewidywanie zgrubnej struktury, generowanie szczegółowej geometrii i generowanie materiałów. Co kluczowe, Hugging Face strategicznie dodało adaptery LoRA tylko do komponentów „sparse-structure flow DiT” i „shape flow DiT”. Dlaczego? Ponieważ to one kontrolują kształt i geometrię obiektu. Celowo zamrozili „texture flow DiT”, ponieważ ich zbiór danych, który zawierał mapy kolorów rozproszonych z wbudowanym oświetleniem, nie nadawał się do jego trenowania (potrzebuje oddzielnych map materiałów). Pomogło to również uniknąć „katastrofalnego zapominania”, gdzie model zapomina to, co już wie. To ukierunkowane podejście wytrenowało około 9,3 miliona parametrów adaptera, co stanowi niewielki ułamek w porównaniu do pełnego dostrajania, zwłaszcza dla małego zbioru danych 188 obiektów. Użytkownicy mogą uruchamiać te procesy na Hugging Face Jobs lub lokalnie, używając dostarczonych obrazów Docker. Przetwarzanie wstępne 188 obiektów zajęło około godziny na zadaniu a100-large, jak donosi blog Hugging Face.

Dlaczego jest to ważne dla małych firm

To ogromne zwycięstwo dla małych firm, które potrzebują niestandardowych zasobów 3D. Historycznie, uzyskanie bardzo specyficznych modeli 3D oznaczało albo wydawanie dużych pieniędzy na niestandardowe prace projektowe, albo zadowalanie się zasobami generowanymi przez AI, które były „wystarczająco dobre”, ale ostatecznie wadliwe w kluczowych szczegółach. To podejście dostrajania LoRA dla TRELLIS.2 zmienia zasady gry. To prawdziwie praktyczna, efektywna pod względem zasobów ścieżka do uzyskania dostosowanych wyników 3D.

Nie potrzebujesz już ogromnego budżetu obliczeniowego ani oceanu danych. Przykład naprawy podeszew butów jest idealny: pokazuje, jak można wziąć potężny, ogólnego przeznaczenia model i udoskonalić go dla bardzo specyficznych potrzeb produktu, czy to do wizualizacji produktów e-commerce, prototypowania, czy specjalistycznych komponentów. Możliwość uruchamiania tego lokalnie za pośrednictwem Docker to ogromna poprawa UX i oszczędność budżetu dla małych zespołów. Demokratyzuje to zaawansowane generowanie 3D, przenosząc je ze sfery prac akademickich w ręce ludzi, którzy faktycznie muszą coś budować. Ponadto, ich mądra decyzja o zamrożeniu niektórych części modelu pokazuje praktyczne zrozumienie, jak unikać typowych pułapek AI, jednocześnie maksymalizując wydajność.

Co zrobić w tym tygodniu

1. Zapoznaj się z Przewodnikiem Hugging Face: Zagłęb się w „Definitive Fine-Tuning Guide for 3D Generation Models” na blogu Hugging Face, aby zrozumieć skrypty, polecenia Docker i szczegóły potoku dla TRELLIS.2.
2. Zidentyfikuj Niszową Potrzebę na Zasoby 3D: Wskaż konkretne zadanie generowania 3D, w którym ogólny model nie spełnia oczekiwań Twojej firmy, takie jak tworzenie dokładnych wariantów produktów lub specjalistycznych komponentów do katalogu.
3. Przygotuj Mały, Skoncentrowany Zbiór Danych: Zbierz mały, czysty zbiór danych (np. 100-200 obiektów) swoich specyficznych zasobów 3D, upewniając się, że mają spójne cechy istotne dla Twojego celu dostrajania.

Źródła

• The Definitive Fine-Tuning Guide for 3D Generation Models — Hugging Face Blog