AI-inferentie: Het nieuwe front om monopolies te doorbreken

De AI-hardwaremarkt, momenteel gedomineerd door Nvidia, is rijp voor verstoring nu de industrie verschuift van modeltraining naar inferentie. Deze verschuiving creëert een cruciale kans voor wendbare startups om te innoveren met nieuwe architectonische benaderingen, veel zoals Juniper Networks Cisco uitdaagde tijdens de dot-comboom.

Wat er is gebeurd

De uitgaven aan AI-infrastructuren zullen naar verwachting tegen 2030 een duizelingwekkende 3 tot 4 biljoen dollar bereiken, waarbij alleen al de vier grootste Amerikaanse cloudbedrijven dit jaar afstevenen op meer dan 700 miljard dollar aan kapitaaluitgaven, zo meldt Crunchbase News. Nvidia, dat min of meer het startschot gaf voor AI-chips door in 2016 zijn DGX-1 aan OpenAI te leveren, is nu diep verankerd in het AI-ecosysteem met nagenoeg exclusieve leverings- en investeringsdeals, meldt Crunchbase News.

Het snelle tempo van de veranderingen in AI overtreft echter alles uit eerdere techcycli, waarbij modelgeneraties elkaar in weken in plaats van jaren opvolgen, wat constante aanpassingen van de onderliggende hardware vereist. R K Anand, medeoprichter van Tensordyne en oprichtend ingenieur bij Juniper Networks, stelt dat uitdagers zich moeten richten op het bouwen van een "vele malen beter" product, in plaats van slechts een goedkopere versie van de gevestigde orde, door te optimaliseren voor de markt die komt, en niet voor degene die al goed wordt bediend.

Hij haalt het succes van Juniper Networks tegen Cisco in de late jaren 90 aan: Juniper, begonnen als een anonieme nieuwkomer, veroverde eind 1999 al 17% van de kernroutermarkt en begin 2001 zelfs 38%, door een geheel nieuwe architectonische benadering te introduceren voor het ontwerpen van routers. Dit succes kwam voort uit het herdefiniëren van wat een kernrouter moest zijn voor de exponentieel hogere doorvoereisen van het internet, aldus Crunchbase News.

Vandaag de dag zorgt de "boom in AI-inferentie" voor een vergelijkbare druk op de doorvoer. De initiële fixatie op het trainen van AI-modellen vervaagt; de industrie beweegt zich gezamenlijk richting het daadwerkelijk gebruiken ervan — bekend als inferentie — waar de beloofde productiviteitswinst van AI werkelijk materialiseert. Google rapporteerde bijvoorbeeld dat het maandelijks meer dan 3,2 biljard tokens verwerkt, een aanzienlijke sprong ten opzichte van 480 biljoen een jaar eerder, naarmate AI opschuift van chat naar autonome agents. Het leveren van tokens op deze schaal voor inferentie stelt andere eisen aan geheugen, stroom en kosten in vergelijking met modeltraining, legt Crunchbase News uit.

Uitdagers moeten het gevestigde vertrouwen van een marktleider vervangen door tastbaar bewijs van een technologische voorsprong en migratie zo eenvoudig mogelijk maken. Dit betekent dat ze duidelijke economische en operationele voordelen moeten aantonen, samen met schaal- en prestatievoordelen, om de traagheid van klanten te overwinnen. Anand opmerkt dat kleine teams aanzienlijke verstoringen teweeg kunnen brengen, waarbij Juniper uit een paar honderd mensen bestond voor markttractie, en zijn huidige bedrijf, Tensordyne, opereert met ongeveer 120 mensen om uitdagingen aan te gaan die ooit een heel leger vergden.

Waarom dit belangrijk is voor kleine bedrijven

Deze verschuiving in het AI-landschap van training naar inferentie is een monumentale kans voor kleine, wendbare bedrijven om een aanzienlijk marktaandeel te veroveren. Waar gevestigde bedrijven zoals Nvidia de kapitaalintensieve trainingsfase domineren, is de inferentiemarkt — waar AI-modellen daadwerkelijk aan het werk worden gezet — de plek waar de echte productiviteitswinst en eenheidseconomie voor bedrijven zullen worden gerealiseerd. Kleine bedrijven zijn van nature beter gepositioneerd om vanuit de grondbeginselen te ontwerpen en te optimaliseren voor de toekomstige eisen van AI-inferentie, zoals de unieke geheugen-, stroom- en kostenbeperkingen van het serveren van biljarden tokens voor AI-agents, in plaats van te worden belast door verouderde architecturen.

Je concurrentievoordeel komt niet voort uit het bouwen van een goedkopere versie van een bestaand product, maar uit het herdefiniëren van wat een AI-oplossing moet zijn voor de volgende generatie bedrijfstoepassingen. Deze productgerichte groeistrategie, gericht op een aantoonbaar superieure architectonische benadering, stelt je in staat om directe concurrentie met overbeterde nabootsers en gevestigde partijen te omzeilen. Door te focussen op duidelijke economische en operationele voordelen, en cruciaal, door integratie en migratie wrijvingsloos te maken, kunnen kleine bedrijven het vertrouwen en de geloofwaardigheid opbouwen die nodig zijn om zelfs ogenschijnlijk onoverwinnelijke monopolies te ontwrichten.

Wat je deze week kunt doen

1. Controleer je huidige AI-inferentiekosten: Analyseer de werkelijke kosten (rekenkracht, geheugen, stroom) van het implementeren en uitvoeren van je bestaande AI-modellen voor praktijktaken en identificeer gebieden waar gespecialiseerde inferentie-oplossingen aanzienlijke besparingen of prestatiewinst kunnen opleveren.
2. Verken gespecialiseerde inferentie-hardware en -software: Onderzoek opkomende AI-inferentieversnellers, edge-AI-oplossingen of softwareframeworks die zijn ontworpen voor efficiënte modelimplementatie met een hoge doorvoer, in plaats van alleen maar algemene GPU's te gebruiken.
3. Geef prioriteit aan oplossingen met een duidelijke ROI en lage overstapkosten: Evalueer bij het beoordelen van nieuwe AI-infrastructuur of -diensten de transparante economische en operationele voordelen, en zorg ervoor dat de provider robuuste tools en ondersteuning biedt voor eenvoudige integratie en datamigratie.

Bronnen

• How To Challenge A Monopoly In The AI Age — Crunchbase News