万亿级大模型“瘦身”进PC：明略科技(2718.HK)的端侧AI突破路径

在AI技术发展的浪潮中，前几年行业的主旋律无疑是推动模型规模持续扩张，追求更强大的计算能力。然而，随着模型逐渐融入Agent体系和复杂工作流，一个新挑战浮出水面：模型能力越强，所需的Token消耗量就越大，推理成本已然成为AI技术大规模落地过程中不可忽视的财务负担。

这一现状促使AI产业的关注焦点开始转变，从单纯追求“模型还能做到多大”，逐步延伸至“这些能力究竟应该在何处运行”。尽管云端仍是核心战场，但端侧AI正展现出前所未有的发展潜力：想象一下，如果最前沿的模型不再局限于数据中心，而是能够直接部署在普通用户的办公设备上，这将带来怎样的变革？

这一转变并非简单的模型“瘦身”过程。它涉及模型结构的优化、硬件适配的调整以及推理框架的革新，需要一套全新的设计思路。

明略科技副总裁、多模态首席科学家赵晨旭在公司内部战略研讨会上，深入分享了对端侧模型创新的系统性思考。基于Scaling Out理念，他提出一个关键问题：如何将最前沿的AI能力从云端数据中心，真正迁移至每个人的办公设备上？这或许标志着端侧AI正从“支持小模型运行”向“支持大模型运行”的范式转变。

图片来源：明略科技

以下为部分核心观点摘录：

AI能力的提升伴随着Token消耗和算力成本的激增。换个角度思考，假设像Fable 5这样的旗舰模型完全开源，会产生什么影响？

这一假设并非遥不可及。目前已有接近这一水平的开源模型出现，例如Kimi K3。明略科技基于自主研发的大规模Web Agent综合评测基准WebRetriever进行测试，结果显示K3在最复杂的协议三测试中已位居榜首。

这意味着，“是否存在接近顶尖闭源模型能力的开源模型”这一问题已有了初步答案。随之而来的新问题是：即便模型开源，我们能否真正将其投入使用？

以K3为例，其完整MoE参数规模达2.8万亿，激活参数也达到千亿级别。对于普通企业和个人用户而言，即使模型开源，也难以直接应用。因此，未来AI行业可能出现一个重要转折：过去我们专注于扩大模型规模，现在则需要思考如何将现有强大模型进行精简、拆解，最终部署到个人电脑上。

这正是当前讨论端侧模型创新的出发点。

从“追求模型规模”到“注重模型可用性”

图片来源：明略科技

回顾大模型的发展历程，主要围绕三个核心要素展开：模型架构、硬件支持与推理框架。

在模型层面，行业遵循Scaling Law原则，通过不断扩大参数规模、增加训练数据、提升算力投入来增强模型能力。为何需要如此庞大的模型？原因在于这些模型需要服务全球各行各业的用户，既要满足金融从业者的专业需求，也要支持研发人员的代码编写，还要处理搜索、办公、科学计算等多样化任务。为了覆盖如此广泛的数据分布和任务需求，模型自然需要集成更多领域的专业知识。

因此，一个模型拥有数千亿参数、数百甚至上千个专业领域（专家）并非偶然。

但问题在于，对于特定个人或企业而言，真的需要如此全面的专业知识吗？

答案可能是否定的。金融从业者更关注金融领域的能力，研发人员则更需要代码编写、网页搜索或AI for Science相关能力。对于具体用户而言，真正需要的可能只是大模型中的十几个或几十个专业领域。

如果从个体或企业的实际工作场景出发，我们真正需要的可能只是模型的部分能力。那么问题就转化为：能否从庞大的通用模型中，提取出真正属于我们的那部分能力？

如果模型因此得以精简，下一个问题随之而来：它能否在普通办公PC上运行？如果PC的算力、显存和内存与模型需求不匹配，我们是否可以通过新的硬件和推理框架来实现运行？

因此，当前面临的问题已与几年前不同。过去的问题是“如何扩大模型规模”，现在的问题则是如何将足够强大的模型真正交付到用户手中。如果模型、硬件和推理框架这三个问题都能得到解决，Token的投资回报率（ROI）逻辑也将发生改变。

如何通过Scaling Out实现模型精简的同时保留专业能力？

提到模型精简，人们首先想到的是蒸馏技术。虽然蒸馏是一种成熟的方法，但此次分享的是一种新思路——Scaling Out。

传统的Scaling Down（蒸馏）是在保持模型通用性的前提下进行压缩，牺牲的是单个专业领域的能力，但尽可能保留原有的数据分布和专业领域分布。

Scaling Out的思路则有所不同。它愿意牺牲部分数据分布和专业领域分布，但希望保留的专业领域能力尽可能不受影响。

图片来源：明略科技

可以将原始大模型想象为一个巨大的圆。Scaling Down是将整个大圆缩小，而Scaling Out则是从这个大圆中提取出与用户真正相关的几个小圆。

这种方法的重点不再是简单的模型压缩，而是首先回答一个问题：对于特定用户、企业或业务场景，哪些专业领域真正有用？

因此，Scaling Out的第一步不是训练模型，而是观察用户行为。我们需要根据用户身份、日常工作任务和实际需求，构建相应的数据集。然后将这些任务输入到一个足够大的模型中运行，通过模型原有的路由机制观察：完成这些任务时，究竟激活了哪些专业领域。例如，代码编写任务可能经常激活特定的代码编写专业领域，网页搜索任务则可能激活其他专业领域。

通过大量任务的运行，我们可以统计不同专业领域的使用率、特异性，以及哪些任务必须由多个专业领域协同完成。最终得到的不是一个通用模型，而是一个针对特定用户或企业任务的最小专业领域集合。

原本可能是万亿参数、千万个专业领域，经过筛选后可能只需保留其中一部分。然后针对这个新的专业领域集合重新设计路由机制、进行训练和微调，最终得到一个更适合特定场景部署的模型。

因此，Scaling Out真正要解决的不是单纯的“模型压缩”问题，而是：一个通用大模型中，有多少能力是我们不需要的？能否只保留我们需要的能力，同时尽可能保持这些能力的原始性能？

这也是我们认为Private AI可能出现的重要技术基础。未来，一方面可能继续有人追求更强大、更通用的AGI模型；另一方面，也可能出现越来越多面向企业和个人的Private AI。它们不需要掌握全世界的知识，而是只需要拥有自己真正需要的专业领域能力。模型精简后，如何让普通办公电脑运行起来？

模型精简只是第一步，接下来更现实的问题是硬件支持。

当前的消费级PC处于一个有趣的状态：有些机器算力足够但显存不足，有些机器内存充足但缺乏运行大模型的算力。因此，我们经常看到普通电脑运行4B、8B模型已不稀奇，但如果告诉大家一台普通办公PC也能运行120B级别的模型，并且可以断网完成复杂的代码编写任务，这可能就颇具吸引力了。

明略科技已在实际设备上验证了这一可能性。我们在一台普通电脑上部署了SOTA大模型，并将公司自主研发的人和Agent智能工作平台Octo与OpenAI的Codex接入该环境，实现了断网状态下模型在本地完成任务的能力。

这反映了一个重要变化：端侧AI的门槛正在从“是否配备GPU”逐渐转变为“能否有效组织现有设备的计算和存储资源”。

一台本地办公电脑能否真正运行大尺寸模型，取决于模型、推理框架与硬件三者能否协同配合。明略科技正围绕这一方向持续探索，并将于后续发布最新进展。

端侧AI的价值，最终要回归到“为何值得在本地运行”

如果模型、硬件和推理框架这三个问题都得到解决，端侧AI的价值将不仅限于“技术上可行”，它将直接改变AI的经济模式。

过去，我们使用AI本质上是在租用他人的GPU资源。我们向云端发送请求，云端完成推理后按Token收费。但如果越来越多的模型可以直接在本地电脑上运行，AI的使用模式可能从“持续租用算力”转变为“一次性拥有计算能力”。

同时，端侧AI还带来了安全和循环经济两个现实价值。

首先是安全性和断网能力。对于对数据安全有特殊要求的企业而言，模型不能联网，也不适合将数据发送给外部云端模型。端侧AI天然提供了一种新选择：模型、数据和任务都可以保留在本地。

其次是内存资源的再利用。如今许多设备仍拥有可观的存储资源，但过去这些资源难以直接参与大模型推理。通过新的模型架构和推理框架，它们开始有机会成为AI基础设施的一部分。将最前沿的AI能力从云端带到每个人身边

过去AI行业一直遵循Scaling Up路线：模型越来越大、参数越来越多、算力越来越强。这条路线仍将继续，但与此同时，我们认为可能出现另一条路线——Scaling Out。

不再要求每个人都拥有完整的通用大模型，而是从最强大的基础模型中提取出真正属于自己的专业领域能力；然后解决两个问题：如何让它在普通硬件上运行，以及如何以足够低的成本运行。

因此，从模型到硬件再到推理框架，实际上是在解决同一个问题：如何将最前沿的AI能力从云端数据中心真正带到用户的办公设备上。

过去讨论端侧AI时，更多关注的是“小模型”。但未来的端侧AI未必等于小模型。它更可能意味着：模型可以很强大，但只运行你真正需要的部分能力；模型可以很大，但不需要全部装入显存；设备可以很普通，但能够整合CPU、GPU、内存、SSD乃至外部算力资源。

最终目标不是让每个人拥有一台超级计算机，而是让我们当前使用的办公设备逐渐具备运行最前沿AI能力的可能性。

关于明略科技

明略科技（2718.HK）成立于2006年，是中国领先的具备自研模型能力的Agentic Service企业。2025年以"全球Agentic AI第一股"身份登陆港交所。公司曾两度荣获吴文俊人工智能科学技术奖，多次入选Gartner、IDC相关报告，拥有2400余项技术专利及500余项软件著作权。近年来，多个AI模型在全球权威榜单中取得领先成绩。依托20年的技术积累，明略科技已服务135家财富世界500强企业、约2100家品牌客户及超24万家企业用户，业务覆盖零售、消费品、汽车、3C等多个行业。