3000B大模型如何融入算力盒子？明略科技(2718.HK)赵晨旭在2026 CSDI SUMMIT分享AI部署效率之道

在人工智能领域，一边是参数规模动辄数千亿乃至数万亿的庞大模型，另一边则是企业办公桌上那台看似普通的设备。这两者之间，究竟横亘着多大的算力鸿沟，又隐藏着多少成本考量？

随着AI技术逐渐融入实际工作场景，这一问题变得愈发具体而迫切。想象一下，一个需要反复调试的编程任务，或者是一项持续运行的智能体工作流，它们都在不断消耗着Token，同时也考验着企业的预算底线。如何将模型的能力有效转化为实际工作成果，确保每一次推理都物有所值，这已成为企业在部署AI时必须面对并解答的关键问题。

10月16日至18日，2026年第十届CSDI SUMMIT中国软件研发智能创新科技峰会在深圳盛大举行。在这场科技盛宴中，明略科技集团副总裁、多模态首席科学家赵晨旭发表了主题演讲《优化Token ROI：以「Scaling Out Law」将3000B巨兽融入算力盒子》，他从模型能力的提取与重组角度出发，深入分享了明略科技对于提升AI部署效率的独到见解。

让业务所需的能力，在恰当的设备上高效运转。 围绕这一核心理念，模型的组织方式与部署策略都迎来了全新的探索空间。

针对企业的具体任务，

究竟需要多大的模型支撑？

通用大模型虽然覆盖了广泛的知识和技能，但一项具体的业务任务往往只需要其中的一部分能力。以编程工作为例，代码生成与调试修复对模型能力的需求就各有侧重。如果完整部署整个模型，很可能会造成资源开销的浪费。

由此，一个关键问题浮现出来：能否从通用模型中精准提取出任务所需的专业能力，使部署规模与业务需求更加契合？

为了解决这一问题，明略科技沿着Scaling Out的路径，从通用大模型中精心挑选出业务所需的专业能力，并根据任务需求进行重新组合。具体而言，团队从前沿的开放权重模型中选取相关专家，通过领域数据训练和协作机制优化，构建出适合本地运行的模型系统。

这一过程就好比用火柴点燃一张餐巾纸，从一捆火柴中只需取出所需的几根即可完成任务。每根火柴都保留了原有的长度，模型也同样保留了所选专家的能力，从而确保了资源投入与任务需求的精准匹配。

在固定的资源预算下，系统能够依据任务反馈持续优化专家选择，力求保持提取后的子网在目标领域的卓越表现。

这也意味着，前沿模型能力的增长可以通过专业化提取与重组的方式，进一步服务于具体业务场景。企业因此获得了一种全新的选择：根据自己的工作需求，灵活配置所需的模型能力。

图片来源：明略科技

每一次推理，

都需精打细算

选出合适的专家只是第一步，接下来还需要让它们学得有针对性、协作得有效率。

以编程任务为例，代码生成与测试验证需要不同的数据支持。只有将任务划分得更加细致，训练数据才能更准确地服务于相应能力，模型运行时的调用也才能更有依据。

赵晨旭介绍，团队通过优化路由机制，使领域任务能够更集中地调用相关专家，从而减少了冗余计算。在现场展示的实验中，路由优化使得思维链长度缩短了约21%。

图片来源：明略科技

这个数字背后，正是企业所关心的效率问题。即同一项工作，模型需要推理多少步、占用多少设备资源，最终能够交付怎样的结果。

对于持续运行的智能体而言，推理过程中的效率改善将直接影响整个工作流的资源消耗。随着任务量的不断增加，其价值也将愈发凸显。

算力盒子中的空间，

究竟从何而来？

大模型要走向本地设备，首先必须面对硬件资源的约束。模型参数如何存放、何时进入内存或显存，这些都会直接影响运行成本与响应速度。

围绕这一问题，赵晨旭介绍了明略科技自主研发的存算分离推理框架Mnemos。

MoE模型在每次计算时，通常只会激活部分专家。Mnemos充分利用了这一特点，将暂时闲置的专家参数存放在SSD等存储介质中，并根据需要加载到内存或显存中，让高速内存优先服务于当前计算。

其中的关键在于合理安排参数加载的时机。系统通过路由预测与专家预加载技术，在处理当前计算的同时，准备后续需要的参数，从而尽可能缩短了数据搬运带来的等待时间。

图片来源：明略科技

在展会现场，明略科技还同步展示了算力棒、统一内存设备和本地智能体案例，让这一思路得以具象化呈现。结合端侧网关，用户还可以方便地查看Token消耗与设备负载情况，评估本地运行的实际收益。

对于企业而言，这条路径的吸引力还在于它能够保障数据隐私与主权：当适合的任务能够在本地处理时，企业便可以根据自身的数据管理要求，灵活安排私有数据的使用方式，并减少相应的外部接口调用。

面对新信息，

模型如何实现边看边适应？

除了运行效率之外，赵晨旭还分享了明略科技在模型学习机制方面的探索成果。

现实中的信息往往具有各自的特点。比如阅读一封潦草的手写信时，人会在辨认文字的过程中逐渐熟悉字迹的特征，并能够将已掌握的特征不断对应到后续内容中，从而实现越读越顺的效果。

明略科技参与研发的通用视觉骨干架VisionHOPE，正是致力于探索视觉模型对当前输入的适应能力。

通过五类相互配合的记忆机制，VisionHOPE能够在扫描图像的过程中积累上下文信息，并据此调整学习与记忆更新方式。相关研究已在图像分类、目标检测等视觉任务上得到了验证。

这项探索将关注点进一步延伸到了模型内部：面对正在处理的信息，模型如何调整自身的理解过程，为后续识别提供有力支持。

企业需要在每天的使用中切实看到AI的价值。一次任务的完成质量、一套工作流的运行成本，都是检验技术成效的重要尺度。从Scaling Out对专业能力的精准提取，到Mnemos对本地硬件资源的高效利用，明略科技始终关注着前沿模型与实际工作之间的距离，并正在将模型研究推向设备与业务现场，让算力投入获得更加清晰的回报。

关于明略科技

明略科技（2718.HK），自2006年成立以来，便成为中国领先的具备自研模型能力的Agentic Service企业。2025年，明略科技作为"全球Agentic AI第一股"成功登陆港交所。公司曾两度荣获吴文俊人工智能科学技术奖，多次入选Gartner、IDC等相关报告，并拥有2400余项技术专利及500余项软件著作权。近年来，明略科技的多个AI模型在全球权威榜单上取得了领先成绩。依托20年的技术积累，明略科技已成功服务了135家财富世界500强企业、约2100家品牌客户及超24万家企业用户，业务覆盖零售、消费品、汽车、3C等多个行业。