AI推理：颠覆垄断的新前沿

目前由英伟达主导的AI硬件市场正面临颠覆，因为行业重心正从模型训练转向推理。这一转变与Juniper Networks在互联网泡沫时期挑战思科（Cisco）类似，为敏捷的初创企业通过新的架构方法进行创新创造了关键机遇。

发生了什么

据Crunchbase News报道，预计到2030年，AI基础设施支出将达到惊人的3万亿至4万亿美元，仅美国四大云公司今年的资本支出就超过7000亿美元。Crunchbase News指出，英伟达通过在2016年向OpenAI交付DGX-1，可以说是率先在AI芯片领域鸣枪，如今凭借近乎排他的供应和投资协议，已深度嵌入AI生态系统。

然而，AI领域的变化速度超过了以往任何技术周期，模型迭代以周而非年为单位，要求底层硬件不断调整。Tensordyne联合创始人、Juniper Networks创始工程师R K Anand认为，挑战者应专注于打造“远优于”现有产品的方案，而不仅仅是更便宜的替代品，其优化目标应是即将到来的市场，而非已经服务完善的市场。

他引用了Juniper Networks在20世纪90年代末对抗思科的成功案例：Juniper从一个默默无闻的新兴企业起步，通过引入全新的路由器设计架构，到1999年底占据了核心路由器市场17%的份额，到2001年初更是达到38%。据Crunchbase News报道，这一成功源于重新定义了核心路由器在互联网吞吐量指数级增长需求下应具备的特性。

如今，“AI推理的爆发”对吞吐量提出了类似的挑战。行业对训练AI模型的过度关注正在消退，集体转向使用模型——即推理——这才是AI承诺的生产力提升真正落地的地方。例如，谷歌报告称其每月处理超过3.2千万亿个token，相比一年前的480万亿个有了显著飞跃，因为AI正从聊天机器人向自主智能体演进。Crunchbase News解释说，在此规模下为推理服务token，与模型训练相比，在内存、功耗和成本方面面临不同的约束。

挑战者必须用技术优势的实质证据取代现有厂商建立的信任，并尽可能简化迁移过程。这意味着要展示明确的经济和运营效益，以及规模和性能优势，以克服客户的惯性。Anand指出，小团队也能实现重大颠覆，Juniper在获得市场认可时仅有数百人，而他现在的公司Tensordyne仅用约120人就在应对过去需要庞大团队才能解决的挑战。

为什么这对小公司很重要

AI领域从训练到推理的转变，是小而敏捷的公司夺取重要市场份额的绝佳机遇。虽然英伟达等现有巨头主导着资本密集型的训练阶段，但推理市场——即AI模型实际投入使用的领域——才是企业真正实现生产力和单位经济效益的地方。小团队天生更擅长从第一性原理出发进行设计，针对AI推理的未来需求（如为AI智能体服务千万亿级token时独特的内存、功耗和成本约束）进行优化，而不受遗留架构的束缚。

你的竞争优势不会来自构建现有产品的廉价版本，而是来自重新定义下一代企业应用的AI解决方案必须是什么。这种以产品为主导的增长策略，专注于可证明更优越的架构方法，使你能够避开与资金充裕的模仿者和现有巨头的直接竞争。通过聚焦于明确的经济和运营效益，并关键地确保集成和迁移的无摩擦体验，小公司可以建立必要的信任和信誉，从而颠覆看似不可撼动的垄断。

本周该做什么

1. 审计当前的AI推理成本： 分析部署和运行现有AI模型以执行实际任务的真实成本（计算、内存、功耗），找出专用推理解决方案可能带来显著节省或性能提升的领域。
2. 探索专用的推理硬件和软件： 研究新兴的AI推理加速器、边缘AI解决方案或专为高效、高吞吐量模型部署设计的软件框架，而不仅仅是通用GPU。
3. 优先考虑具有明确投资回报率和低转换成本的解决方案： 在评估新的AI基础设施或服务时，要求透明的经济和运营效益，并确保提供商提供强大的工具和支持，以便轻松集成和数据迁移。

来源

• How To Challenge A Monopoly In The AI Age — Crunchbase News