元脑服务器发布G3.5层全闪方案，Mooncake KV缓存共享成亮点

【徽声在线9月14日消息】元脑服务器近日针对大模型推理场景，创新性地推出了支持Mooncake KV缓存共享的G3.5层全闪存解决方案。该方案以元脑旗下的高性能全闪存服务器NF5286作为核心硬件支撑，通过与Mooncake缓存组件以及推理框架的缓存感知调度机制紧密配合，成功为推理集群构建了一个独立于计算节点之外的KV Cache共享存储空间。这一设计使得缓存资源能够根据业务实际需求进行灵活规划与调整，当推理过程中上下文需求出现增长时，用户可以单独对缓存资源进行扩展，而无需对整体计算架构进行大规模改动。同时，在GPU节点进行扩容、调整或日常维护时，缓存资源也能够保持相对稳定，不必完全跟随计算节点的变化而变化，从而有效提升了系统的整体灵活性与资源利用率。