随着大语言模型和生成式AI模型的参数规模突破万亿级，模型权重的存储与加载已成为制约AI部署效率的关键瓶颈。近日，一项名为“高带宽闪存”（High-Bandwidth Flash）的新型存储技术引发业界关注，该技术通过重新设计闪存架构与接口协议，实现了对深度学习模型权重的高效存储与快速读取，有望显著降低AI推理与训练过程中的存储延迟和功耗成本。
模型权重存储面临严峻挑战
当前，主流大模型的权重文件动辄数百GB甚至上TB级别。例如，Meta开源的LLaMA 3模型（405B参数）以FP16精度存储，权重文件超过800GB。传统解决方案通常依赖DRAM作为临时存储介质，但DRAM价格昂贵、容量有限，且断电后数据丢失，导致在推理时需频繁从硬盘加载权重，造成显著的I/O瓶颈。
传统的NAND闪存虽然具备大容量、非易失性等优势，但其读取带宽远低于DRAM，通常仅能提供每秒数GB的吞吐量。面对需要数秒内加载百GB级权重文件的AI工作负载，传统闪存显得力不从心。此外，闪存的高延迟特性也限制了其在实时推理场景中的应用。
高带宽闪存的技术突破
“高带宽闪存”技术的核心在于打破传统NAND闪存的带宽天花板。据研发团队披露，该技术采用了三维堆叠工艺与新型垂直沟道架构，将闪存单元层数提升至512层以上，同时内置高速缓存控制器，使得闪存芯片的接口带宽达到每秒128GB，相当于当前主流SSD的10倍以上。
更为关键的是，该技术引入了直连GPU/TPU的专用协议，绕过了传统PCIe接口的中转延迟。通过CXL（Compute Express Link）或者UCIe（通用芯片互连）等开放标准，高带宽闪存可以作为GPU的“近端内存”直接映射到显存地址空间，实现权重数据的快速访存。测试数据显示，在加载一个175B参数的模型时，高带宽闪存方案的平均延迟仅需0.5秒，而传统NVMe SSD需要8秒以上。
在功耗方面，由于无需像DRAM一样持续刷新，高带宽闪存在静态功耗上降低了约70%。同时，其非易失性特性使得模型权重可以“尘封”在闪存中，仅在需要推理时按需加载，从而大幅降低数据中心在闲置时的能耗。
应用前景与业界动态
这项技术尤其适用于以下场景：云端推理——在GPU集群中，使用高带宽闪存替代部分DRAM，可在不显著降低性能的前提下，将每TB存储成本下降至DRAM的1/5；边缘设备——对于手机、汽车等嵌入式端侧AI，高带宽闪存可作为模型权重的本地存储，解决有限显存无法容纳大模型的问题；训练过程中的Checkpoint（检查点）——高带宽闪存能够在数秒内完成TB级模型状态的保存与恢复，显著缩短训练中断后的重启时间。
目前，多家存储巨头已在该领域布局。三星电子在2024年ISSCC会议上展示了基于256层V-NAND的“Flash-Bandwidth Memory”原型，带宽达到等效HBM2E的80%；美光则推出了与特定AI加速器绑定的定制闪存模块，宣称可将LLaMA 3模型的首次推理启动时间缩短至1.2秒。此外，众多初创公司如FMS（Flash Memory Summit）获奖企业NeoMemory，正在开发基于开源RISC-V架构的控制芯片，旨在让高带宽闪存成为AI基础设施的标准组件。
专家观点与未来展望
“AI模型的‘内存墙’问题正在从HBM（高带宽内存）延伸到存储层级。”华盛顿大学计算机存储实验室的Jing Li教授在接受采访时表示，“高带宽闪存填补了DRAM与传统SSD之间的性能空白，它让模型权重不再需要全部塞进昂贵的HBM中，而是在容量、成本与速度之间找到了一个优化的平衡点。”
不过，他也指出，当前高带宽闪存面临一些挑战：首先是耐久性问题——闪存的擦写次数有限，用于高频更新的训练场景可能受限；其次，与现有软硬件生态的兼容需要时间磨合，尤其是操作系统内核的页缓存机制和AI框架的数据加载器都需要针对性优化。
展望未来，随着层叠闪存技术的持续演进（如800层以上），以及存储级内存（SCM）标准的成熟，高带宽闪存有望在2026年成为AI服务器的事实标准之一。它不仅能大幅降低大型语言模型的部署门槛，还可能催生出更多端侧大模型应用，让AI真正从云端走向千家万户。