震撼！寒序科技全新国产LPU推理芯片惊艳首秀

徽声在线科技前沿报道

在芯片领域，一颗权重仅4 bit，这看似微不足道的数字，却蕴含着巨大的变革潜力。

想象一下，在AI推理过程中，数据要进行数十亿次的搬运，这无疑让人类与高效AI之间产生了距离。

寒序科技大胆抉择：停止这种低效搬运！

今日，寒序科技正式对外公布了其创新的uHBM®与uLPU™推理计算架构，这一举措或将引领芯片行业的新潮流。

寒序uHBM®与uLPU™产品发展蓝图

试想，若最为关键的数据无需搬运，那将会是怎样一番景象？

在大模型的Decode阶段，这一问题尤为突出。

每次Token的生成，都需要反复读取海量的模型权重。对于FFN/GEMV这类典型的memory - bound workload而言，很多时候，限制推理速度的并非乘法器数量不足，而是权重必须一次又一次地穿越存储接口，才能抵达计算单元。

一颗FP4权重仅仅只有4 bit。

一次搬运，几乎可以忽略不计。

然而，当几十亿颗权重为了每一个Token，一遍又一遍地移动时，问题就变得严峻起来。它最终会转化为带宽、功耗、延迟和散热等方面的难题，进而演变成一整排服务器、一整座机房的庞大规模，以及一张日益高昂的电费账单。

这正是寒序科技研发uHBM®的初衷所在。

uHBM®未封装裸晶片颗粒

寒序科技并不满足于仅仅提升搬运速度，他们有着更为宏大的目标：让权重直接驻留在计算发生的地方。

uHBM®创新地将Persistent MRAM与矩阵向量计算集成在同一颗Compute - Memory Die内。

如此一来，权重能够长期驻留，矩阵向量计算在Die内即可完成，大规模权重无需再为每个Token反复跨越传统存储接口。

作为国内首家涉足MRAM计算的公司，寒序科技在过去三年里，持续致力于推进超大带宽、Persistent MRAM、权重驻留和片内矩阵向量计算等关键技术的发展。

历经三年磨砺，uHBM®与uLPU™今日终于首次完整亮相。

uLPU™ - Chip爆炸结构图

Decode的高成本，源于权重搬运

Prefill过程更像是一次集中计算，而Decode则截然不同。在Decode过程中，模型每生成一个Token，都需要重新读取大批权重。

对于FFN/GEMV而言，一轮计算仅输入一个激活向量，却要使整层权重再次参与运算。模型规模越大，权重搬运在推理成本中所占的比重就越高。

在Hot Chips 2026上，三星公布了LPDDR5X - PIM技术，该技术将计算进一步推向DRAM内部。

三星PIM技术演进路线：从2021年HBM - PIM验证，到2026年LPDDR5X - PIM量产

NVIDIA则展示了Groq 3 LPX与Vera Rubin的异构推理路径：GPU负责处理Attention、承载KV Cache，LPX将权重保留在片上SRAM中并执行FFN。

三星选择DRAM - PIM路线，Groq选择SRAM LPU路线，而寒序科技则独辟蹊径，选择了Persistent MRAM路线。虽然三者所采用的器件、工艺和系统形态各不相同，但都在思考同一个问题：为什么每生成一个Token，权重都要重新搬运一次？

在过去十年里，行业从DDR发展到HBM3E，从PCIe发展到NVLink，一直致力于拓宽存储与计算之间的通道。而寒序科技则换了一种思路：如果权重根本无需反复搬运呢？

这个问题最终可以简化为一张图：传统GPU + HBM3E在每个Token的生成过程中，需要逐层通过片外接口读取权重矩阵；而uHBM®则将权重留在片内，系统主要交换激活向量。

典型Decode数据路径

u，代表Ultra的卓越含义

uHBM®给出的解决方案，并非是打造一条更宽的外部接口。

它在同一颗Compute - Memory Die内集成Persistent MRAM与矩阵向量计算：模型权重完成加载后便长期驻留；每轮Decode只需让激活向量流入，在Die内完成权重读取、矩阵向量乘和局部归约，再将结果输出。

权重留下，计算在旁进行，这就是Weight - Resident Compute的核心理念。

uHBM®名字中的u，取自Ultra。它不仅代表着Ultra - High Bandwidth（超高带宽），更意味着高带宽发生位置的重大转变：从存储器与计算芯片之间，进一步深入到权重所在的Die内。

uHBM®是寒序科技对Compute - Memory产品架构的独特命名，并非对应JEDEC HBM的新一代DRAM标准。

它延续了HBM以高带宽服务计算的产品逻辑，但底层技术路径转向了MRAM计算存储。寒序科技将这一产品主张概括为一句话：

重新定义HBM。

24 TB/s，关键在于带宽发生的位置

首代uHBM®架构给出的In - Die Read Bandwidth设计值高达24 TB/s。

这一数值描述的是Compute - Memory Die内部的权重读取能力；而行业常见的HBM指标描述的，则是存储Stack与GPU之间的外部接口带宽。

一个数值体现在数据传输的路上，另一个数值则体现在权重所在的核心位置。

由于两者并非同一测试口径，不能直接进行性能倍数比较；24 TB/s真正重要的意义在于，它能够实现高带宽读取紧邻驻留的权重，并可直接送入片内GEMV。这是架构设计值，还需后续硅片实测来验证。

HBM致力于拓宽道路，uHBM®则让权重无需上路

uLPU™架构核心指标

当权重驻留与片内计算完美融合，uHBM®便不再仅仅是一颗“存储芯片”。进一步发展，它成为了uLPU™。

从一颗Die，迈向一座Rack的宏伟征程

如果说uHBM®解决了权重应该驻留何处的问题，那么uLPU™则回答了如何将其打造成为一台完整的推理计算机。

一颗Die仅仅是起点，寒序科技的产品路线由此展开：

uHBM® → uLPU™ → uLPU™ - Tray → uLPU™ - Rack

按照当前规划，端侧形态的uLPU™ Edge将四颗uHBM®与NPU集成在一起。NPU负责Prefill、Attention、KV Cache、动态算子和系统控制；而高带宽敏感的FFN/GEMV则留在uHBM®内执行。

这种设计并非用存内计算替代所有计算，而是将最需要带宽的部分放回权重身边，实现更高效的计算。

云端形态的uLPU™ Cloud将四颗uHBM®与uIO Die组合，通过UCIe完成Scale - Up，并面向112G / 224G SerDes构建Scale - Out互联。

按照当前规划，16个uLPU™将集成到一个2U Tray中，多个Tray再进一步组成Rack - Scale Inference System。

沿着同一条Weight - Resident Compute路线，寒序科技的产品将从机器人端侧一直延伸到云端整座机柜。

从uHBM®、uLPU™到2U Tray与Rack的产品路线

机器人对实时推理的迫切需求

对于Qwen - VLA这一类具身模型，寒序科技正在瞄准一个更具挑战性的目标：

>2,000 Tokens/s。

Qwen - VLA建立在Qwen3.5 - 4B多模态骨干之上，并增加了约1.15B参数的DiT动作解码器。

作为参考，NVIDIA公布的Jetson AGX Thor单并发测试中，Qwen2.5 - VL 3B的推理速度为71.7 Tokens/s。

需要说明的是，两者并非针对同一模型、同一精度进行测试；>2,000 Tokens/s是寒序科技面向4B多模态主干Decode提出的工程目标，并不等同于完整Qwen - VLA动作解码或机器人控制频率。

寒序科技的目标，是将“机器人能够实时思考”的速度从几十Tokens/s提升到一个全新的数量级。

对于聊天机器人而言，100 Tokens/s和1,000 Tokens/s可能只是“快一点”和“再快一点”的区别。但对于一个正在伸手抓杯子、避开障碍物、观察人类动作并实时调整轨迹的机器人来说，延迟不仅仅是一个体验问题。

延迟就是动作本身。当推理进入Physical AI领域，AI不再拥有无限的时间等待下一个Token。世界不会停止运转，机械臂不会停止动作，人也不会停止活动。

寒序端侧机器人、云端数据中心两类uLPU产品，以及3D堆叠uHBM产品

三年磨一剑，铸就创新辉煌

寒序科技成立于2023年8月。2024年初，北京市科委项目正式立项。

团队最初全面对标Groq LPU的超大带宽路线，但并未选择用更大面积的SRAM堆出带宽，而是将赌注押在了Persistent MRAM、权重驻留和片内矩阵向量计算上。

此后，高带宽推理验证芯片SpinPU - ED01顺利完成流片、回片和第三方检测。

样片集成了120个MRAM Bank，实测片上访存带宽密度达到0.105 TB/(mm²·s)；公司还完成了端到端模型推理与连续24小时稳定运行测试。

2026年3月，寒序科技提交了两项高带宽推理发明专利申请，并于6月陆续公开。相关方案从MRAM权重静态驻留、多Bank并行计算，延伸到Transformer Decode的系统分工和多芯片扩展。

先发优势并非只是一个简单的标签，而是一条连续的发展路径：从MRAM Bank到验证芯片，从已经公开的专利申请到uHBM®与uLPU™，再从端侧产品走向Tray和Rack。

作为国内首家MRAM计算公司，寒序科技已经率先将磁计算从器件层面推向了完整的产品路线。

未来两年，迈向工程实现与量产的新征程

首代完整工程产品目前正处于流片前收敛阶段。架构已经亮相，但工艺、容量、功耗、完整带宽和模型性能等关键指标，最终还需由硅片来验证。

未来两年，寒序科技将把工作重心放在工程实现与量产上：包括流片、回片、软件栈开发、系统研发、客户验证和量产准备等工作。

验证芯片已经证明了“这条路可行”；下一阶段需要回答的是，它能否成为真正具有市场竞争力的产品。具体节奏仍将根据硅片进展和客户验证情况来确定。

从架构到产品，中间隔着诸多极具挑战性的工程实现环节：先进封装、计算模块设计、供电系统优化、散热方案制定、系统集成以及软件栈开发，还有应对真实客户负载的考验。

完整参数，静候硅片给出答案。

从uLPU™ - Module到uLPU™ - Tray

uLPU™ - Rack

寒序科技启动全球核心研发人才招募计划

围绕uHBM®与uLPU™，寒序科技同步启动了新一轮全球核心研发人才招募计划。

重点招募方向包括：

• SoC架构设计、数字设计、PPA优化与物理实现

• AI编译器开发、Runtime设计、算子优化与多芯片任务调度

• UCIe技术、SerDes设计、Scale - Up与Scale - Out互联技术

• 先进封装技术、芯片供电设计、信号完整性与热设计

• 服务器研发、2U Tray设计与Rack级系统研发

寒序科技也热烈欢迎来自GPU、NPU、交换芯片、高性能计算、通信、航空航天和复杂电子系统领域的工程人员加入团队。

团队支持北京、上海、深圳、横琴多地协同办公模式。

Hot Chips 2026已经将权重搬运问题推到了产业前沿。

三星和NVIDIA已经完成了第一轮市场教育工作。

接下来，寒序科技将把时间和精力集中在流片、回片、编译器开发和系统研发上。

让权重留在原地。

让计算来到它身边。

重新定义HBM，从一颗4 bit权重开启创新之旅。

三年前，寒序科技提出疑问：一颗仅仅只有4 bit的权重，为什么要反复搬运？

一颗权重，虽只有4 bit。

但它不应沉重到，需要一座数据中心来承担搬运任务。

编辑：摩西