元脑服务器G3.5层全闪方案：Mooncake KV缓存共享，优化大模型推理

【元脑服务器重磅发布：G3.5层全闪方案支持Mooncake KV缓存共享，助力大模型推理场景优化】徽声在线9月14日消息，元脑服务器针对当前大模型推理场景中日益增长的缓存需求，正式推出了具有创新性的G3.5层全闪方案。该方案以元脑全闪服务器NF5286作为核心硬件支撑，通过与Mooncake缓存组件以及推理框架的缓存感知调度机制深度协同，成功为推理集群打造了一个独立于计算节点的KV Cache共享空间。

这一设计不仅实现了缓存资源的灵活规划，使得用户可以根据实际业务需求，对缓存空间进行单独配置和扩展，从而有效应对上下文需求增长带来的挑战。同时，当GPU节点需要进行扩容、调整或维护时，缓存资源也能够保持相对稳定，不必完全跟随计算节点的变化而变动，大大提高了系统的稳定性和可维护性。