Inferencja AI: Nowa granica w przełamywaniu monopolu

Rynek sprzętu AI, obecnie zdominowany przez Nvidię, jest dojrzały do rewolucji, ponieważ branża przechodzi od trenowania modeli do inferencji. Ta zmiana stwarza kluczową szansę dla zwinnych startupów na innowacje z wykorzystaniem nowych podejść architektonicznych, podobnie jak Juniper Networks rzuciło wyzwanie Cisco podczas boomu dot-comów.

Co się wydarzyło

Według Crunchbase News, wydatki na infrastrukturę sztucznej inteligencji mają osiągnąć oszałamiającą kwotę od 3 do 4 bilionów dolarów do 2030 roku, a same cztery największe amerykańskie firmy chmurowe planują w tym roku ponad 700 miliardów dolarów wydatków kapitałowych. Nvidia, która prawdopodobnie dała sygnał do startu w wyścigu po chipy AI, dostarczając swój system DGX-1 do OpenAI w 2016 roku, jest obecnie mocno zakorzeniona w ekosystemie AI dzięki niemal wyłącznym umowom na dostawy i inwestycje – informuje Crunchbase News.

Jednak szybkie tempo zmian w sztucznej inteligencji przewyższa wszystko, co widziano w poprzednich cyklach technologicznych, a generacje modeli zmieniają się w tygodnie, a nie lata, co wymaga ciągłych zmian w leżącym u ich podstaw sprzęcie. R K Anand, współzałożyciel Tensordyne i jeden z inżynierów-założycieli Juniper Networks, twierdzi, że pretendenci powinni skupić się na budowaniu „o wiele lepszego” produktu, a nie tylko tańszej wersji oferty obecnego lidera, poprzez optymalizację pod kątem rynku, który nadchodzi, a nie tego, który jest już dobrze obsługiwany.

Powołuje się on na sukces Juniper Networks w walce z Cisco pod koniec lat 90. XX wieku: Juniper, zaczynając jako anonimowy startup, zdobył 17% rynku routerów szkieletowych do końca 1999 roku i 38% do początku 2001 roku, wprowadzając całkowicie nowe podejście architektoniczne do projektowania routerów. Jak podaje Crunchbase News, ten sukces wynikał z ponownego zdefiniowania tego, czym musiał być router szkieletowy dla wykładniczo wyższych wymagań internetu dotyczących przepustowości.

Dzisiaj „boom na inferencję AI” reprezentuje podobne obciążenie dla przepustowości. Początkowa nadmierna koncentracja na trenowaniu modeli AI zanika, a branża zmierza w stronę ich wykorzystywania – znanego jako inferencja – gdzie obiecane przez AI zyski z wydajności naprawdę się materializują. Google, na przykład, zgłosiło przetwarzanie ponad 3,2 biliarda tokenów miesięcznie, co stanowi znaczący skok w porównaniu z 480 bilionami rok wcześniej, w miarę jak AI przechodzi z czatu do autonomicznych agentów. Crunchbase News wyjaśnia, że obsługa tokenów na tę skalę w procesie inferencji wiąże się z innymi ograniczeniami dotyczącymi pamięci, zasilania i kosztów w porównaniu do trenowania modeli.

Pretendenci muszą zastąpić ugruntowane zaufanie obecnego lidera namacalnymi dowodami przewagi technologicznej i maksymalnie ułatwić migrację. Oznacza to wykazanie jasnych korzyści ekonomicznych i operacyjnych, wraz z zaletami dotyczącymi skalowalności i wydajności, aby przezwyciężyć bezwładność klientów. Anand zauważa, że małe zespoły mogą osiągnąć znaczący przełom – Juniper liczył zaledwie kilkaset osób, gdy zdobywał rynek, a jego obecna firma, Tensordyne, działa w gronie około 120 osób, mierząc się z wyzwaniami, które kiedyś wymagały armii.

Dlaczego to ma znaczenie dla małych firm

Ta zmiana w krajobrazie AI z treningu na inferencję to monumentalna szansa dla małych, zwinnych firm na wykrojenie znaczącego udziału w rynku. O ile giganci tacy jak Nvidia dominuje w kapitałochłonnej fazie treningu, o tyle rynek inferencji – czyli miejsce, w którym modele AI są faktycznie wdrażane do pracy – przyniesie realne zyski z wydajności i ekonomię jednostkową dla biznesu. Małe zespoły są z natury lepiej przygotowane do projektowania od podstaw, optymalizując rozwiązania pod kątem przyszłych wymagań inferencji AI (takich jak unikalne ograniczenia pamięci, zasilania i kosztów przy obsłudze biliardów tokenów dla agentów AI), zamiast być obciążone przestarzałymi architekturami.

Twoja przewaga konkurencyjna nie będzie wynikać z budowania tańszej wersji istniejącego produktu, lecz z ponownego zdefiniowania tego, czym musi być rozwiązanie oparte na sztucznej inteligencji dla nowej generacji aplikacji enterprise. Ta strategia wzrostu oparta na produkcie, skupiona na dowiezionym, lepszym podejściu architektonicznym, pozwala omijać bezpośrednią konkurencję z dobrze dofinansowanymi klonami i liderami rynku. Koncentrując się na jasnych korzyściach ekonomicznych i operacyjnych oraz – co kluczowe – na bezproblemowej integracji i migracji, małe firmy mogą zbudować zaufanie i wiarygodność niezbędne do zakłócenia nawet pozornie nie do pokonania monopoli.

Co zrobić w tym tygodniu

1. Przeaudytuj swoje obecne koszty inferencji AI: Przeanalizuj rzeczywisty koszt (moc obliczeniowa, pamięć, zasilanie) wdrażania i uruchamiania istniejących modeli AI do zadań w świecie rzeczywistym, identyfikując obszary, w których wyspecjalizowane rozwiązania inferencyjne mogłyby zaoferować znaczne oszczędności lub wzrost wydajności.
2. Zbadaj wyspecjalizowany sprzęt i oprogramowanie do inferencji: Zbadaj wchodzące na rynek akceleratory inferencji AI, rozwiązania edge AI lub frameworki programowe zaprojektowane z myślą o wydajnym wdrażaniu modeli o wysokiej przepustowości, zamiast polegać wyłącznie na uniwersalnych procesorach GPU.
3. Priorytetowo traktuj rozwiązania o jasnym ROI i niskich kosztach zmiany: Oceniając nową infrastrukturę lub usługi AI, wymagaj przejrzystych korzyści ekonomicznych i operacyjnych oraz upewnij się, że dostawca oferuje solidne narzędzia i wsparcie w zakresie łatwej integracji i migracji danych.

Źródła

• How To Challenge A Monopoly In The AI Age — Crunchbase News