高速RDMA網(wǎng)絡架構

阿里巴巴2016年開始投入專項研究RDMA（Remote Direct Memory Access），以改造RDMA，提高傳輸性能。目前已建成大規(guī)模數(shù)據(jù)中心內的“高速網(wǎng)”，時延降低90%，支撐了高性能存儲、AI計算等阿里云業(yè)務和阿里巴巴集團內部業(yè)務。

同時，通過大規(guī)模RDMA網(wǎng)絡部署實踐，阿里云自主研發(fā)了基于端網(wǎng)協(xié)同的RDMA高性能網(wǎng)絡協(xié)議和HPCC擁塞控制算法，并通過智能網(wǎng)卡實現(xiàn)了協(xié)議硬件卸載，降低了端到端網(wǎng)絡延時，提升了網(wǎng)絡IO吞吐能力，并有效規(guī)避和弱化了網(wǎng)絡故障、網(wǎng)絡黑洞等傳統(tǒng)網(wǎng)絡異常給上層應用帶來的性能損失。

高性能集合通信庫ACCL

靈駿支持高性能集合通信庫ACCL（Alibaba Collective Communication Library），結合硬件（例如：網(wǎng)絡交換機），對萬卡規(guī)模的AI集群提供無擁塞、高性能的集群通訊能力。

在AI集群層面，通訊的碰撞是計算延遲的主要來源。除了架設集群通信的“高速公路”（即RDMA高速網(wǎng)）外，還需要進行合理的通訊調度，避免“堵車”。阿里云通過通信庫ACCL實現(xiàn)了GPU和網(wǎng)卡的智能匹配、節(jié)點內外物理拓撲自動識別及拓撲感知的無擁塞通信算法，徹底消除網(wǎng)絡擁塞，提升網(wǎng)絡通信效率，提高分布式訓練系統(tǒng)的擴展性。在萬卡規(guī)模下，可達80%以上的線性集群能力。在百卡規(guī)模下，有效（計算）性能可達95%以上，可滿足80%以上的業(yè)務場景需求。

高性能數(shù)據(jù)主動加載加速軟件KSpeed

靈駿基于高性能網(wǎng)絡RDMA和高性能通信ACCL，研發(fā)高性能數(shù)據(jù)主動加載加速軟件KSpeed，進行智能數(shù)據(jù)IO優(yōu)化。

計算存儲分離架構廣泛存在于AI、HPC、大數(shù)據(jù)業(yè)務場景中，但大量訓練數(shù)據(jù)的加載容易形成效率瓶頸。阿里云通過高性能數(shù)據(jù)主動加載加速軟件KSpeed，實現(xiàn)數(shù)據(jù)IO數(shù)量級性能提升。

例如：在部分場景中，數(shù)據(jù)加載耗時可占據(jù)訓練整體時長60%以上，KSpeed能夠實現(xiàn)內存級數(shù)據(jù)主動預加載，數(shù)據(jù)加載時長縮減到10%以內，相當于把單位時間內的計算性能提升了1倍。

GPU容器虛擬化方案eGPU

針對AI作業(yè)規(guī)模龐大、GPU硬件資源昂貴、集群GPU利用率低等業(yè)務場景實際遇到的問題，靈駿支持GPU虛擬化技術eGPU，可有效提升AI集群的GPU利用率，具體如下：

• 支持顯存、算力雙維度自由切分。

• 支持多個規(guī)格。

• 支持動態(tài)創(chuàng)建、銷毀。

• 支持熱升級。

• 支持用戶態(tài)技術，保證更高可靠性。