前言:AI技术的发展正引领着计算领域的范式变革,而内存技术则成为这一变革的关键所在。
HBM与LPDDR内存解决方案,对于释放GPU的计算潜能起到了至关重要的作用。
作者 | 方文三图片来源 | 网 络
SOCAMM解决现阶段痛点,与HBM互补存在
在AI领域,尤其是在训练和推理大型模型时,内存扮演着至关重要的角色。
训练过程中,数据需要在计算芯片与内存之间频繁传输,而当前大型AI模型的参数规模已达到数百亿甚至数万亿级别,这导致了对大量内存的需求。
例如,DeepSeek R1(671B版本)的全量模型文件大小达到720GB,需要超过512GB的DDR4内存支持。
随着内存需求的不断增长,如何在有限的设备体积和成本内容纳更高容量的内存,已成为一个挑战。
同时,服务器的内存消耗占据了相当大的功耗比例。
在配备每插槽TB级DDR5内存的服务器中,DRAM的功耗甚至超过了CPU。
为了应对这一挑战,英伟达设计了基于LPDDR5X内存的Grace CPU,其功耗低于DDR5,同时通过借鉴AMD和英特尔数据中心级处理器的宽内存总线设计,实现了高内存带宽。
但迄今为止,LPDDR DRAM主要采用[板载(On-Board)]方式,直接焊接在设备主板上,而非模块化设计。
而板载方式的缺点在于一是成本高昂,更换时必须整块主板一起更换。二是缺乏灵活性,不支持升级,更换难度大。
然而,对于基于GB200 Grace Blackwell的系统,英伟达不得不采用焊接式的LPDDR5X内存封装,因为缺乏能够满足其容量需求的标准LPDDR5X内存模块。
据韩国媒体SEDaily报道,英伟达与存储器制造商SK海力士、美光和三星合作,共同打造了一种体积小但效能高的新存储器标准,名为[SOCAMM]。
SOCAMM,全称为Small Outline Compression Attached Memory Module,即小型化压缩附加内存模组。
目前的SOCAMM模组基于LPDDR5X DRAM芯片。与先前的LPCAMM2模组相似,SOCAMM同样采用单面四芯片焊盘、三固定螺丝孔的设计。
然而,与LPCAMM2不同的是,SOCAMM的顶部没有凸出的梯形结构,这降低了其整体高度,使其更适合服务器安装环境和液体冷却系统。
SOCAMM是一种由低功耗DRAM(LPDDR DRAM)制成的存储模块。
其尺寸仅为行业标准DDR5 RDIMM的约1/3,而得益于高速的LPDDR5X和更宽的位宽,SOCAMM在相同容量下带宽可达到2.5倍,功耗仅为传统方案的1/3。
英伟达首席执行官黄仁勋在CES 2025上发布了AI PC [Digits],下一代Digits可能会采用SOCAMM,使其进入AI PC领域。
这也表明,SOCAMM可能成为横跨数据中心和AI PC的存储器,具备比HBM更广泛的应用场景。
需要指出的是,SOCAMM与HBM二者并非直接竞争关系,而是互补存在,SoCAMM解决灵活性问题,而HBM通过与GPU的先进封装集成解决极致性能需求。
尽管SOCAMM在速度上不及HBM,但它具备更强的扩展性和灵活性,预计将在英伟达未来的Rubin和Feynman GPU服务器中继续采用。
存储巨头们正在推进SOCAMM模块亮相
在英伟达的GB200服务器中,Grace CPU两侧各配备16颗低功耗双倍数据速率动态随机存取存储器(LPDDR DRAM),这些DRAM此前是直接板载焊接的。
但在下一代GB300服务器中,英伟达采用了SOCAMM设计,采用4颗LPDDR组成的SOCAMM模块,共4组。
美光近日表示,SOCAMM解决方案已实现量产,通过使用4颗16-die堆叠的16Gb LPDDR5X颗粒,实现了128GB容量;
结合128-bit位宽和8533MT/s速率,为更快的AI模型训练和更高的推理并发用户量提供了关键支持。
作为率先宣布量产SOCAMM的美光,在3月20日的财报会上表示:[我们是第一家与英伟达合作,并率先大规模生产SOCAMM的企业。]
该内存条将被应用于英伟达GB300 Grace Blackwell Ultra超级芯片,并预期将作为Grace CPU的可更换内存使用。
SK海力士也在英伟达GTC大会上展示了SOCAMM,并在新闻稿中表示,[SOCAMM已成为AI服务器存储器的新标准,SK海力士将通过该产品展示AI存储器技术的领先地位。]
其SOCAMM的核心参数:单模块容量128GB,由容量为32GB的4颗芯片组成;
采用16颗16Gb LPDDR5X记忆体芯片封装,并采用线键合(Wire Bonding)工艺,而非HBM所使用的TSV(硅通孔)工艺。
数据传输带宽为120GB/s,尽管比传统服务器DRAM快2.5倍,但仍远低于HBM3E的1.2TB/s。
三星也不甘落后,其采用LPDDR5X DRAM的可拆卸模块功耗仅9.2W,比DDR5 RDIMM服务器模块节能45%以上。
有传言称,英伟达可能将50%的SOCAMM订单交给美光,剩下的由三星和SK海力士平分。
其中,三星电子率先开发的LPCAMM可将内存占用面积减少60%以上,提高PC或笔记本的内部组件设计自由度,为增加电池容量等腾出更多空间,使内部布局更加高效。
EBN的报告指出,英伟达与内存制造商正在交换SOCAMM原型进行测试,并预计在2025年底开始大规模生产。
在CES 2025上,英伟达推出了GB10 Grace Blackwell超级芯片和Project DIGITS,旨在普及个人AI超级计算机。
SOCAMM的出现将在整个行业产生连锁反应
据EBN称,SOCAMM被视为[下一代]HBM,在小型PC和笔记本电脑中具有优于传统DRAM的性能和能效,这可能是关键所在。
预计SOCAMM的出现将在整个半导体行业产生连锁反应,影响到三星电子、SK海力士等内存厂商,以及Simmtech和TLB等基板公司。
目前,SOCAMM内存技术适用于需要高性能内存支持的场景,如AI计算、高性能计算、数据中心等。
由于其可拆卸升级的特点,SOCAMM内存技术还适用于需要频繁更新硬件设备的领域,如游戏、图形设计、虚拟现实等。
随着AI、大数据、云计算等技术的快速发展,对高性能内存的需求日益增加。
SOCAMM以其卓越的性能和能效比,正好满足了这些领域对内存的高要求。
因此,SOCAMM的市场需求将持续增长,特别是在B2B服务器市场和快速发展的终端设备AI领域。
尽管SOCAMM的发展前景广阔,但仍面临一些挑战。
例如,随着半导体行业的快速发展,市场上存在多种不同的内存技术和标准。
SOCAMM作为新一代内存技术,需要与其他硬件和软件系统保持良好的兼容性,以确保其能够顺利应用于各种设备和场景中。
然而,市场碎片化可能导致不同技术标准之间的兼容性挑战,增加了SOCAMM推广和应用的难度。
此外,内存技术的标准化是推动其广泛应用的关键。
SOCAMM需要经历一个标准化的过程,以确保不同厂商生产的SOCAMM模块之间能够互换使用,降低用户的更换和升级成本。
然而,标准化进程可能需要时间和多方协商,这可能对SOCAMM的推广速度产生影响。
与此同时,随着内存技术的不断发展,市场上涌现出多种新型内存技术,如DDR5、GDDR6等。
这些技术各具优势,与SOCAMM形成了一定的竞争关系。
在激烈的市场竞争中,SOCAMM需要不断提升其性能、降低成本并拓展应用场景,以保持竞争优势。
SOCAMM的生产涉及多个环节和供应链节点,包括原材料供应、生产制造、封装测试等。
任何环节的供应链中断或不稳定都可能对SOCAMM的生产和供应产生影响,进而威胁到其市场应用前景。
结尾:
目前SOCAMM尚未大规模应用,但前期部署工作已经启动。
随着AI产业的快速发展,AI设备逐步渗透至日常生活,SOCAMM、LPCAMM、LLW等技术有望成为下一代主流内存方案。
AI计算对内存的要求可归纳为:高带宽、大容量、低延迟、高能效。
传统DRAM技术已接近物理极限,而HBM、SOCAMM等新型内存技术通过3D集成和接口优化,正逐步成为AI硬件的核心。
部分资料参考:印科技:《三大存储巨头围攻[第二增长曲线]》,电子发烧友网:《英伟达力推SOCAMM内存量产:可插拔、带宽比肩HBM》,AI FPGA 之恋:《英伟达 新标准 SOCAMM 另辟蹊径,解锁 AI PC 内存自由》
原文标题 : AI芯天下丨分析丨存储巨头正推进SOCAMM模块,距离爆火还差一把火?