元脑发布G3.5全闪方案：破解大模型推理缓存管理难题

【徽声在线9月14日讯】在人工智能大模型推理领域持续创新的元脑服务器，今日正式发布了一项突破性技术方案——支持Mooncake键值（KV）缓存共享的G3.5层全闪存解决方案。该方案专为应对大模型推理场景中日益增长的缓存需求而设计，以元脑全闪服务器NF5286作为核心硬件支撑，通过与Mooncake缓存组件及推理框架的深度协同优化，构建出独立于计算节点的弹性KV缓存共享架构。

这一创新架构的最大亮点在于实现了缓存资源的解耦管理。当业务场景需要处理更长的上下文窗口时，系统可单独扩展缓存存储容量，而无需同步升级计算节点；在GPU集群进行动态扩容、节点调整或设备维护时，缓存数据能够保持持续可用，避免因计算资源变动导致的数据迁移或服务中断。据技术文档显示，该方案通过分层存储设计和智能调度算法，使缓存命中率提升达40%，同时降低30%的推理延迟。

行业分析师指出，元脑此次推出的全闪方案精准切中了大模型推理集群的运维痛点。传统架构中缓存与计算资源的强绑定模式，往往导致资源利用率失衡和扩展成本高企。而G3.5层方案通过物理隔离缓存资源池，配合动态资源分配机制，为金融、医疗、科研等对推理稳定性要求极高的领域提供了更优的解决方案。目前该方案已在多个头部企业的测试环境中验证，预计四季度将正式推向市场。