GPU拓?fù)浞植?/h2>

下圖為NVLink連接8個(gè)Tesla V100的混合立體網(wǎng)絡(luò)拓?fù)洹Ｃ繅KV100 GPU有6個(gè)NVLink通道，8塊GPU間無(wú)法做到全連接，2塊GPU間最多只能有2條NVLink連接。其中GPU0和GPU3，GPU0和GPU4之間有2條NVLink連接，GPU0和GPU1之間有一條NVLink連接，GPU0和6之間沒有NVLink連接，故GPU0與GPU6之間仍然需要通過(guò)PCIe進(jìn)行通信。

GPU拓?fù)涓兄{(diào)度優(yōu)勢(shì)

NVLink連接的單向通信帶寬為25 GB/s，雙向通信帶寬為50 GB/s，PCIe連接的通信帶寬為16 GB/s。在訓(xùn)練過(guò)程中，選擇不同的GPU組合，會(huì)得到不同的訓(xùn)練速度，因此在GPU的調(diào)度過(guò)程中，選擇最優(yōu)的GPU組合可以得到最優(yōu)的訓(xùn)練速度。

Kubernetes對(duì)節(jié)點(diǎn)的GPU拓?fù)湫畔⒉桓兄{(diào)度過(guò)程中對(duì)GPU的選擇比較隨機(jī)，選擇不同的GPU組合訓(xùn)練速度會(huì)存在較大的差異。基于以上問(wèn)題，ACK基于Scheduling Framework機(jī)制，實(shí)現(xiàn)GPU拓?fù)涓兄{(diào)度，在節(jié)點(diǎn)的GPU組合中選擇具有最優(yōu)訓(xùn)練速度的組合。