HBM（高带宽内存）

HBM（High Bandwidth Memory）是一种 3D 堆叠 DRAM 技术，通过硅中介层与 GPU 直连，提供远超传统 GDDR 的内存带宽（HBM3e 可达 4.8TB/s）。

关键参数

在大模型推理中的瓶颈

DeepSeek-V4-Pro（1.6T 参数）即使 FP4 量化仍需 ~865GB。解决方案：

1. FP4 量化：减少权重占用
2. HCA 压缩：减少 KV cache（仅需 V3.2 的 10%）
3. CXL 扩展：超出 HBM 容量的数据放 CXL 池
4. Engram 卸载：嵌入表放 DRAM/CXL，不占 HBM

关联

• FP4 — 减少 HBM 占用
• HCA — 减少 KV cache 的 HBM 占用
• CXL — HBM 的容量扩展
• Engram — 天生不靠 HBM