万亿级大模型端侧革命：明略科技(2718.HK)重构AI落地范式

近年来，AI领域的主旋律始终围绕着一个核心——打造规模更大、性能更强的模型。然而，随着模型逐步融入Agent系统和复杂工作流，一个新挑战悄然浮现：模型能力越强，所需的Token消耗量也呈指数级增长，推理成本已然成为AI技术大规模落地过程中无法回避的关键问题。

这一现实促使AI产业的关注点从单纯的“模型规模竞赛”，逐渐转向“能力落地场景”的深度探索。尽管云端仍是AI部署的主战场，但端侧AI正展现出前所未有的想象空间：如果前沿模型不再局限于数据中心，而是能够真正融入普通用户的办公设备，将会引发怎样的变革？

实现这一目标远非简单的模型压缩。从模型架构的优化、硬件资源的适配，到推理框架的重构，都需要系统性创新。

明略科技副总裁、多模态首席科学家赵晨旭在内部战略研讨会上，系统阐述了端侧模型创新的战略路径。基于Scaling Out技术路线，他提出一个核心命题：如何让顶尖AI能力突破云端边界，真正下沉至每个人的办公终端？这或许标志着端侧AI从“支撑轻量级应用”向“承载重型模型”的关键范式转变。

图片来源：明略科技

以下为战略核心要点解析：

AI能力的指数级提升背后，是Token消耗与算力成本的同步飙升。我们不妨换个视角思考：若某日如Fable 5般的旗舰模型完全开源，将会引发怎样的连锁反应？

这一设想并非天方夜谭。当前开源社区已涌现出接近顶尖水平的模型，例如Kimi K3。通过明略科技自主研发的Web Agent综合评测基准WebRetriever测试显示，K3在复杂协议任务中已登顶全球榜首。

这意味着“是否存在接近闭源模型的开源方案”的疑问已得到初步解答。但新问题随之而来：即便模型开源，普通用户真的能用起来吗？

以K3为例，其完整MoE架构包含2.8万亿参数，激活参数达千亿级别。对于中小企业乃至个人开发者而言，模型开源不等于技术可用。这预示着AI行业将迎来重大转折：从“追求模型规模”转向“破解模型落地难题”。

这正是明略科技提出端侧模型创新的战略出发点。

从“模型扩张”到“能力解耦”的技术跃迁

图片来源：明略科技

回溯大模型发展史，其技术演进始终围绕三大核心要素展开：模型架构、硬件支撑、推理框架。

在模型层面，Scaling Law主导了技术路线——通过持续扩大参数规模、增加训练数据、提升算力投入，实现模型能力的突破。这种“通用至上”的设计理念，源于模型需要同时服务金融、科研、开发等千行百业的多样化需求。为覆盖如此广泛的应用场景，模型不得不集成数千亿参数和数百个专业模块。

但现实需求往往具有高度针对性：

对于特定用户或企业，真的需要全部专业模块吗？

答案显然是否定的。金融从业者更关注领域知识处理能力，开发者则需要强大的代码生成与搜索功能。每个用户真正需要的，可能只是大模型中十几个核心专业模块。

这引出一个关键问题：能否从通用大模型中精准提取用户所需的核心能力？

若能实现模型精简，新挑战随即浮现：如何让精简后的模型在普通PC上流畅运行？这需要硬件适配与推理框架的协同创新。

当前AI产业的核心矛盾已发生转变：过去聚焦于“如何扩大模型规模”，现在则要解决“如何让强大模型真正触达用户”。若能突破模型、硬件、推理框架的三重壁垒，Token投入产出比将迎来质的飞跃。

Scaling Out技术路线：在能力保留与模型精简间寻求平衡

提到模型压缩，传统蒸馏技术（Scaling Down）广为人知。但明略科技提出了更具创新性的Scaling Out方案。

传统蒸馏技术通过牺牲部分专业模块能力，维持模型的通用性。而Scaling Out则采取不同策略：

它允许适度牺牲数据分布的完整性，但确保保留的专业模块能力不受损。

图片来源：明略科技

若将通用大模型比作完整圆环，Scaling Down是整体缩小圆环，而Scaling Out则是从圆环中精准切割出与用户需求匹配的扇形区域。

这种技术路线的核心在于：通过用户行为分析，识别真正有价值的专业模块。

Scaling Out的实施分为三步：首先通过用户画像分析构建定制化数据集；其次利用模型路由机制追踪任务执行过程中的模块激活情况；最后基于统计结果筛选高频使用的核心模块组合。

经过这种筛选，原本万亿参数的模型可能仅保留关键模块。随后通过路由机制重构和针对性微调，最终形成适合特定场景部署的精简模型。

这种技术路线不仅实现模型压缩，更关键的是：在保留核心能力的前提下，剔除冗余模块。

这为Private AI的发展奠定了技术基础。未来AI生态可能呈现双轨并行：一方面继续追求通用AGI模型的突破，另一方面涌现出大量面向特定场景的Private AI。这些专用模型不需要掌握全局知识，只需具备用户真正需要的专业能力。模型精简后的硬件适配挑战

模型压缩只是第一步，硬件适配才是真正的决胜关键。

当前消费级PC呈现显著分化：部分设备算力充足但显存不足，另一些设备内存充裕却缺乏算力支撑。这种资源错配导致普通PC仅能运行4B、8B等轻量级模型，而运行120B级模型仍被视为不可能任务。

明略科技通过实际部署验证了技术可行性：在一台普通办公PC上成功运行SOTA大模型，并集成自研的Octo智能工作平台与OpenAI Codex，实现断网环境下的复杂代码生成任务。

这标志着端侧AI的发展门槛已从“GPU配置”转向“资源整合能力”。能否通过软硬件协同优化，充分释放现有设备的计算潜力，将成为决定端侧AI普及程度的关键因素。

围绕这一目标，明略科技正在开展系统性研发，相关技术突破将于近期对外公布。

端侧AI的核心价值：重构AI经济模型

当模型、硬件、推理框架的三重壁垒被突破，端侧AI将带来颠覆性变革：

传统AI使用模式本质上是算力租赁：用户通过云端请求获取服务，按Token消耗付费。而端侧AI的普及将使AI能力从“持续租赁”转向“永久拥有”。

这种转变带来两大现实价值：

数据安全与离线能力。对于金融、医疗等数据敏感领域，端侧AI提供本地化部署方案，确保模型、数据、任务全程留存于企业内网。

存储资源再利用。现有设备普遍拥有过剩存储容量，通过新型推理框架可将这些闲置资源转化为AI计算资源，构建循环经济模式。从云端到终端：AI能力普惠化的技术路径

过去十年，AI发展遵循Scaling Up路线：模型参数突破万亿级，算力需求增长百万倍。这条技术路线仍将持续，但明略科技预测将出现并行发展的Scaling Out路线：

不再追求“一人一模型”的通用方案，而是帮助用户从基础模型中提取所需专业能力；通过软硬件协同优化解决普通设备运行重型模型的难题；最终实现以极低成本部署AI能力。

从模型架构到硬件适配，再到推理框架优化，所有技术创新的终极目标都是：将云端AI能力无缝迁移至用户终端。

未来的端侧AI将突破“小模型”的局限：模型可以保持强大，但只运行用户所需的核心功能；模型可以维持庞大，但无需全部加载至显存；设备可以普通，但能通过资源整合支持AI运行。

这不是要为每个用户配备超级计算机，而是让现有办公设备具备运行前沿AI能力的可能性。

关于明略科技

明略科技（2718.HK）作为中国领先的Agentic Service企业，自2006年成立以来始终致力于自研模型开发。2025年成功登陆港交所，被誉为"全球Agentic AI第一股"。公司两度荣获吴文俊人工智能科学技术奖，多次入选Gartner、IDC权威报告，累计获得2400余项技术专利及500余项软件著作权。近年来，明略科技多个AI模型在全球权威榜单取得领先成绩。依托二十年技术积累，已为135家财富世界500强企业、约2100家品牌客户及超24万家企业用户提供服务，业务覆盖零售、消费品、汽车、3C等多个行业。