分布式工作流Argo集群(簡稱工作流集群或Serverless Argo Workflows)采用無服務器模式,使用阿里云彈性容器實例ECI運行工作流,通過優化開源工作流引擎性能及Kubernetes集群參數,實現大規模工作流的高效彈性調度,同時配合搶占式ECI實例,優化成本。本文介紹工作流集群的控制臺操作入口、功能優勢、原理圖和網絡規劃。
控制臺操作入口
功能優勢
工作流集群基于開源Argo Workflow項目構建,完全符合開源工作流標準,如果您已在ACK集群或者其他Kubernetes集群運行Argo工作流,無需修改現有工作流,可以無縫遷移至工作流集群。
通過工作流集群,您可以輕松編排工作流,每個工作流步驟使用容器運行,可以在短時間內輕松運行大規模機器學習或數據處理的計算密集型作業,可以快速運行CI/CD流水線。
基于開源Argo Workflow,無需修改現有Argo工作流可無縫遷移。
無運維成本,專注工作流運行。
極致彈性,自動擴展,優化計算成本。
可靠性高,多可用區負載均衡,調度可靠性高。
增強控制面,性能、效率、穩定性、可觀測性大幅提升。
OSS存儲管理增強,支持大文件上傳、Artifacts GC、流式傳輸。
原理圖
工作流集群是無服務器Serverless工作流引擎,基于Kubernetes集群構建,托管了開源Argo Workflows。
網絡規劃
目前開放地域:華北2(北京),華東1(杭州),華東2(上海),華南1(深圳),華北2(張家口)、華南2(河源)、華南3(廣州)、中國香港、新加坡、曼谷、法蘭克福。如有其他地域的需求,請加入釘釘群(釘釘群號:35688562),聯系產品技術專家進行咨詢。
創建或選擇一個VPC專有網絡。
創建或選擇交換機。
規劃交換機的網段,保證可用IP數量以滿足Argo workflow的運行要求。因為Argo Workflows工作流在運行過程中可能會創建大量的Kubernetes Pod,每個Pod運行過程中都會消耗一個交換機的IP。
在所選地域的每個可用區創建一個交換機,并使用多個交換機的ID作為創建工作流引擎實例的輸入。工作流引擎實例將自動選擇庫存充足的可用區創建ECI,從而滿足大規模工作流的運行。否則,若可用區庫存不足,將導致工作流不能獲取ECI資源而運行失敗。