Las nuevas empresas de inferencia de IA le están comiendo el almuerzo a NVIDIA, y Wall Street lo nota

La fiebre del oro en infraestructura de IA ya no se trata solo de chips, sino de quién puede exprimir el máximo rendimiento de cada vatio. Los titulares de esta semana sobre financiamiento revelan un cambio crítico: los inversores están apostando millones en startups de inferencia de IA que prometen ofrecer modelos más rápidos, baratos y eficientes que las GPU monolíticas de NVIDIA.

El aumento de $300 millones de Castelion en defensa tecnológica acaparó los titulares, pero la verdadera historia está en el espacio de inferencia de IA. Startups como Groq, SambaNova y Tenstorrent están creando nichos al optimizar la inferencia —la fase en la que los modelos de IA realmente hacen algo— en lugar de enfocarse únicamente en el entrenamiento. La arquitectura LPU (Unidad de Procesamiento de Lenguaje) de Groq, por ejemplo, afirma manejar la inferencia de modelos de lenguaje grande (LLM) a 10 veces la velocidad de las GPU tradicionales, consumiendo una fracción de la energía. Mientras tanto, el sistema DataScale de SambaNova está diseñado para empresas que necesitan ejecutar múltiples modelos simultáneamente sin arruinarse.

¿Por qué esto importa? Porque la inferencia representa hasta el 90% del costo de vida útil de un modelo de IA. Empresas como NVIDIA, que dominan la fase de entrenamiento, luchan por mantenerse al día con la demanda de implementaciones de inferencia en tiempo real y baja latencia. Startups como Groq y Tenstorrent están llenando ese vacío con arquitecturas modulares y desagregadas que escalan horizontalmente, en contraste con las cajas negras integradas verticalmente y costosas de NVIDIA.

La economía unitaria aquí es brutal para los incumbentes. Las GPU de NVIDIA cuestan decenas de miles de dólares por unidad, mientras que las startups de inferencia ofrecen soluciones que pueden ejecutarse en hardware de uso común o incluso en dispositivos edge. Para empresas como Mistral AI o Cohere, que dependen de una inferencia eficiente para servir a sus clientes, esto podría significar la diferencia entre la rentabilidad y escalar perpetuamente como líder en pérdidas.

Los inversores están votando con sus carteras. Groq, antes una startup discreta, ahora tiene una valoración de más de $2 mil millones tras recaudar $300 millones en su Serie D. Tenstorrent, liderada por el veterano de la industria Jim Keller, acaba de cerrar una ronda de $100 millones. Incluso SambaNova, que ha tardado más en ganar tracción, está viendo un renovado interés a medida que las empresas buscan alternativas al dominio de NVIDIA en el mercado.

La gran pregunta: ¿Podrán estas startups escalar lo suficientemente rápido para desafiar el dominio de NVIDIA? La historia sugiere que en IA, el primero en llegar al mercado suele ganar, pero en este caso, el mercado no está esperando. Si la eficiencia en inferencia se convierte en el nuevo campo de batalla, podríamos ver un cambio tectónico en cómo se implementa la IA, desde centros de datos en la nube hasta teléfonos inteligentes.

Una cosa es clara: las guerras de inferencia de IA apenas comienzan. Y, por una vez, los subestimados no solo están alcanzando a los líderes, sino que están liderando la carga.

Foto: BoliviaInteligente / Unsplash (https://unsplash.com/@boliviainteligente)