TOP500榜单互联架构
在互联架构方面,以太网仍旧是超算互联架构的绝对主力,达到了271台,相比2018年6月榜单的247台还有所增加。在以太网中,10GbE仍旧是主流,达到190台,比去年同期还要多20台。这显然与单节点算力持续增加有很大关系(随着单节点算力的增加,很多上榜超算已经不需要太多节点,普通的10GbE也能承载互联需求)。另一方面,高性能网络中的绝对主力Infiniband占比正在缓慢下降,从去年的139台下降为今年的125台。同时,定制互联架构(商业化的定制互联架构,例如Cray的Aries interconnect、Bull的BXI、国防科技大学的TH-Express2、江南计算所的神威互联架构等)的占比从去年同期的68台下降为今年的51台。而专有互联架构更是从去年的7台降为今年的4台(基本上已经是专指富士通的Tofu interconnect 2了)。不过,作为Infiniband主要竞争对手的OmniPath份额则在缓慢上升,从去年的39台增加为今年的49台。这显然与Intel的主推、相对更低廉的价格有很大关系。
TOP500加速器、协处理器汇总
虽然加速卡能够在很大程度上提升超算的性能、能效,但受限于计算类型,加速卡仍然不是超算的主流,500台超算中部署了加速卡的超算只有133台,还不到总数的1/3;不过相对于2018年6月的110台,我们还是能看到加速卡在顶级超算中的应用势头正在缓慢增长。
在已经部署加速卡的机型中,NVIDIA则是绝对主流。而在Tesla众多型号中,价格昂贵的V100和P100成为了当仁不让的宠儿,装机量分别达到了52台和46台。已经进入停产计划的Intel Xeon Phi协处理器则只占到了5席。
TOP100加速器、协处理器汇总
在更高端的TOP100中,加速卡仍旧只占到32席,不到总数的1/3。除了NVIDIA Tesla V100、P100这些常客之外,我们还能看到一个特殊的存在——天河2A采用的Matrix-2000加速卡。
2016年,美国以“怀疑被用于核爆模拟”为由将国家超级计算天津、广州、长沙中心和国防科技大学列入限制出口名单。此后,为了摆脱美国禁令的限制,当年的天河2号进行了升级,将之前使用的KC架构Xeon Phi协处理器换成了由国防科技大学研发的Matrix 2000。
对于这块加速卡,相关专家对其的定义是general-purpose DSP,也就是用途更广泛的DSP。按照外界对国防科大芯片技术路线的推断,Matrix 2000很可能使用的是经过魔改的ARM核心,具备128个物理核心,制程未知(从发布时间点来推测是TSMC 28nm制程),封装之后的芯片面积为66x66mm,使用PCI-E 3.0 x16总线与系统连接。芯片内部包含4个SuperNode,每个SN包含32个核心,SN内部采用名为FIT的点对点内部互联架构,带宽25.6GB/s,环路延迟20ns;每个SN包含8个节点,每节点包含4个计算核心以及共享的DCU和Cache;每个SN拥有两个独立的DDR4-2400内存控制器(SN对应的内存容量有8GB和16GB两种)。Matrix 2000运行频率1.2GHz,支持双精度和单精度浮点运算(不支持半精度),每时钟周期可执行16个双精度运算,双精度时性能为2.458GFlop/s,单精度性能翻倍,TDP240W(早期产品运行频率1.0GHz,TDP200W)。
在用Matrix 2000替换Xeon Phi之后,天河2号更名为天河2A,性能从之前的33682.7TFlops提升为61444.5TFlops。虽然升级之后节点总数从之前的16000增加到17792个,但性能提升却达到了81.45%;可见Matrix 2000的性能还是相当了得的。
TOP500操作系统统计
从操作系统层面来看,TOP500榜单已经被各种版本的Linux全部占领,之前的AIX等操作系统彻底消失。虽然有将近一半的系统并没有提供具体的Linux版本号,但从之后的排名来看,常见的Red Hat、SUSE、CentOS、Ubentu等公开发行版一应俱全。当然,还有很多超算使用了Cray、Bull、Penguin等制造商的魔改版Linux。
TOP500制造商
从超算制造商来看,联想、浪潮、曙光分别以173台、71台和63台的数量霸占了榜单的前三名,三家合计达到307台,占比超过60%。HPE(SGI)、CRAY等超算领域老牌劲旅则只能以40和39台的数量屈居第二集团(去年同期HPE还能以79台的数量在榜单中排名第二,而CRAY去年也还有53台的装机量;联想、浪潮、曙光三家去年同期合计也只有240台的装机量)。总体来看,与企业基础架构领域的情况类似,超算系统也开始呈现出明显的向头部集中的趋势;而值得庆幸的是,超算中的头部企业都来自于中国。
中国超算成就辉煌,但前途布满荆棘
自从2010年中国的天河1A第一次夺得TOP500冠军之时起,中国IT圈乃至中国社会也对这个注定属于小圈子的榜单产生了浓厚的兴趣。在这之后,天河2号、神威太湖之光的相继问,则让国人的对于超算的关注发展到了顶点。
但自从2016年美国将中国众多超算研究、制造及使用机构列入禁运名单之后,美国便开始了对中国超算领域的持续压制。在ISC大会举办期间,美国再次将包括曙光、江南计算所在内的超算制造、研究单位列入实体名单,这无疑会对中国的超算发展带来一定冲击。
这两年,中国TOP10以内的新超算出现频率降低,这是因为中国正在全力备战百亿亿次计算。目前,中国同时准备了三套E级计算系统,分属不同技术路线——国防科大/国家超算天津中心共同主导的天河3号(使用Matrix 200+)、曙光领衔的x86路线(使用海光处理器,但三家海光公司均被列入实体名单)、江南计算所主导的神威系列超算(众核架构、ARM处理器)。三套系统将在2021-2022年之间集中亮相,不过,在几乎相同的时间段里,美国、欧盟、日本的E级超算也将集体亮相。届时超算领域将再次迎来一场龙争虎斗的高速发展时期。