米其林三星餐厅潮上潮有一种名为「潮 1/2」的就餐模式:在餐厅后厨旁边放一张小餐桌,只供少数人就餐,饭菜在主厨做好的瞬间就能上桌,把传菜过程中的风味和热量损耗压到最低。对讲究「一热顶三鲜」的中国人来说,这种安排并不难理解。

把计算搬到内存旁边:高通 HBC 想解决的是什么问题

理解了这个,也就容易理解高通推出的高带宽计算技术(High bandwidth compute,HBC)。它的思路,相当于把计算放到内存旁边,就像把饭桌挪到厨房旁边。

当 ChatGPT 在屏幕上一个字一个字往外吐答案时,人们习惯把速度归因于计算:CPU 更快、GPU 更强、NPU 的 TOPS 更多,AI 就应该答得更快。但实际并非如此。AI 运行时,芯片里的 CPU、GPU、NPU 往往没有全速工作,它们在等待数据从内存送过来。过去十年,AI 算力和模型规模快速膨胀,内存容量、带宽和数据搬运效率却没有以同样的速度增长,越来越多的时间和能耗花在数据移动上,而不是真正的计算上,这就是「内存墙」。生成式 AI 推理大致分两个阶段:Prefill 相当于「读题」,要进行大量矩阵运算,计算能力仍然重要;Decode 相当于「答题」,每生成一个 token 都要读取模型参数和累积的上下文,实际计算相对有限,瓶颈落在搬运上。就像厨房炒好了十个菜,传菜员却只有一个。

围绕这个问题,产业里已经出现几种思路。SRAM 像板前料理,把厨房搬到餐桌前,但菜单固定、价格不便宜;它的单位面积成本很高,很难用有限的芯片面积装下越来越大的模型。HBM 像寿司郎,后厨和就餐区都很大,中间用「高速列车」一样的传送带上菜,但依赖复杂的堆叠和封装技术,成本高、供不应求。HBC 则是一种近内存计算架构,把计算搬到内存附近,减少数据与计算之间的搬运,从而加速 AI、降低功耗。

这并不意味着所有计算都会跑进内存。Prefill 这类高计算强度的任务,依然需要强大的计算单元;游戏、视频编辑、影像处理也不会消失。矩阵乘、向量运算、Embedding 查询以及部分 Attention、KV Cache 相关操作,需要读取大量数据,更适合交给 HBC;CPU、GPU、NPU 则负责计算本身更复杂的任务。这本身就是一种异构分工,也成为应对 AI 计算新要求的一条核心思路。