元脑发布G3.5全闪方案：Mooncake缓存共享重构AI推理架构

【徽声在线9月14日讯】在人工智能大模型推理领域持续创新的背景下，元脑服务器今日正式发布面向大模型推理场景的革命性解决方案——支持Mooncake KV缓存共享机制的G3.5层全闪存架构。该方案以元脑新一代全闪存服务器NF5286G3.5为硬件基石，通过深度集成Mooncake智能缓存组件与推理框架的动态感知调度系统，构建出完全独立于计算节点的KV Cache共享资源池。

这一创新架构实现了三大技术突破：首先，通过硬件解耦设计，使缓存资源池与GPU计算节点形成物理隔离，当业务场景需要处理更长上下文窗口时，可单独对缓存层进行横向扩展；其次，在GPU集群进行节点扩容、负载调整或例行维护时，缓存资源能够保持业务连续性，避免因计算节点变动导致的数据重建；最后，通过智能缓存感知调度算法，实现缓存命中率与计算资源利用率的动态平衡，经实测在百亿参数模型推理场景下，整体吞吐量提升达37%。

据技术白皮书披露，该方案已在国内某头部AI企业的千卡级推理集群中完成验证，在处理长文本生成任务时，不仅将首包响应延迟降低至83ms，更通过缓存预热机制使连续请求处理效率提升2.2倍。元脑服务器产品线负责人表示，这种硬件与软件深度协同的设计理念，标志着AI基础设施从'计算中心'向'数据智能中心'的范式转变，未来将持续优化缓存共享架构的能效比。