英伟达Groq机架全面量产，AI低延迟推理市场竞争加剧

徽声在线8月25日讯（编辑 李明）英伟达高层近日透露，备受瞩目的Groq 3 LPX机架已正式迈入全面量产的新阶段，这一里程碑事件标志着英伟达历史上最大规模的一笔收购所获得的技术成果，终于成功转化为商业化产品。

在当地时间周一（8月24日）的发布会上，英伟达高级总监Dion Harris详细阐述了Groq机架的部署计划。他表示，这些先进的机架将与Vera中央处理器以及Rubin图形处理器携手，共同进驻新型云服务商Nebius的数据中心，并预计在今年晚些时候正式投入运营。

英伟达加速Groq芯片的生产步伐，并迅速向市场提供产品，这一举措凸显了低延迟推理在AI领域的重要性日益凸显。低延迟推理技术能够确保AI智能体在接收到指令后迅速作出反应，有效避免了用户长时间等待的困扰，尤其在编程等对实时性要求极高的应用场景中，其价值更是不可估量。

Harris进一步指出，云服务商可以针对这类高效处理的token（词元）收取更高的服务费用。他解释说：“对于那些提供token服务的企业而言，低延迟推理技术让他们能够为那些对延迟极为敏感的用户和客户提供更加优质、高级的服务套餐，从而进一步提升用户体验和满意度。”

回顾去年12月，英伟达与Groq达成了一项高达200亿美元的交易，成功获得了Groq的芯片技术授权。不仅如此，Groq的多位核心员工也加入了英伟达的大家庭，其中创始人Jonathan Ross更是被委以重任，担任了英伟达的首席软件架构师，为公司的技术创新注入了新的活力。

今年3月，英伟达乘势而上，发布了专为Vera Rubin平台研发的推理加速器Groq 3 LPX。这款加速器采用了独特的Groq架构，在芯片裸片上集成了高达500兆字节的高速静态随机存储器（SRAM），有效减少了与内存相关的性能瓶颈，提升了整体处理效率。

据了解，Groq芯片由三星负责制造，而英伟达的GPU则继续由台积电生产。每一个LPX机架能够整合256颗Groq 3芯片，英伟达援引Artificial Analysis的基准测试数据称，整合后的机架每秒能够处理高达3400个token，展现了其强大的处理能力。

在当前的市场环境下，低延迟推理领域的竞争愈发激烈。AMD今年早些时候也宣布了其机架级系统与Cerebras芯片的整合计划。而Cerebras作为近期刚刚上市的新兴企业，其业务重点同样聚焦在低延迟推理技术上，与英伟达形成了直接的竞争态势。

值得一提的是，OpenAI近期推出的“Ultrafast”模式也承诺每秒可处理750个token，该模式正是由Cerebras提供技术支持，进一步加剧了低延迟推理市场的竞争。

然而，需要明确的是，低延迟芯片并不能完全取代作为AI芯片主力的GPU。GPU在AI领域具有举足轻重的地位，它既能够执行训练任务，也能够进行推理操作，同时具备足够的灵活性来适应新技术和新模型的不断涌现。

相比之下，Groq这类低延迟芯片则主要专注于模型服务中的一个特定环节，即“解码”（decode）阶段。Harris也强调：“我们的目标并不是要取代GPU，而是要针对工作负载的不同环节，使用价格合适、处理能力合适的处理器，以实现最佳的性能和成本效益。”

英伟达目前正在全力加快Vera Rubin系统的出货速度。公司CEO黄仁勋先前曾预计，到2027年，当前一代Blackwell芯片和新一代Vera Rubin系统的累计销售额将达到惊人的1万亿美元，展现了公司对未来市场的坚定信心。

黄仁勋当时还表示，他计划将面向编程应用的数据中心空间中约四分之一分配给Groq芯片，以充分发挥其在低延迟推理方面的优势。他补充说：“我的数据中心其余部分将100%采用Vera Rubin系统，以确保我们在AI领域的全面领先地位。”

（徽声在线 李明）