英伟达Vera CPU测试：AI智能体编排性能飞跃，高并发推理能力显著增强

7月21日，英伟达对外公布了一组令人瞩目的测试数据。据AI云平台DeepInfra的测试结果表明，在AI智能体工作负载的场景下，英伟达Vera CPU展现出了卓越的性能优势。与其他同类CPU产品相比，Vera CPU能够实现最高达2.2倍的编排速度提升，这一数据意味着在处理AI智能体相关任务时，它能够更快速地完成资源的调配和任务的安排。同时，它还支持最高1.6倍更多智能体的并发运行，大大提高了系统的整体处理能力和效率。

DeepInfra平台作为AI领域的重要参与者，其数据处理规模十分庞大。据悉，该平台每周要处理近5万亿的Token，而在这些庞大的数据处理量中，约30%的数据来源是智能体应用。这也从侧面反映出智能体应用在当下AI领域的广泛应用和重要地位。

英伟达方面指出，随着AI技术的不断发展，AI智能体所承担的任务日益繁重，它们不仅要进行推理工作，还要负责规划和工具调用等复杂任务。在这样的背景下，CPU在模型调用过程中的调度效率就显得尤为关键，它已经成为影响AI基础设施性能的关键因素之一。高效的CPU调度能够确保AI智能体在处理任务时更加流畅、快速，从而提升整个AI系统的运行效率和性能。