[發明專利]一種作業處理方法以及相關設備

在審

• 申請號: 202010573552.7
• 申請日: 2020-06-22
• 公開（公告）號: CN113900791A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 肖磊;孫宏偉;孫克勇;阮涵
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 聶秀娜

本申請實施例公開了一種作業處理方法以及相關設備，用于為本地網絡配置具有RoCE功能的云計算實例，以提高高性能計算的效率。在該作業處理方法中，云平臺根據收到的資源申請創建具有RoCE功能的云計算實例，并設置所述云計算實例接入本地網絡，以使得所述云計算實例對所述本地網絡中的任務對應的數據進行處理。由于，該云計算實例可以越過操作系統接收來自本地網絡的任務，并越過操作系統訪問本地網絡中前述任務對應的數據。因此，云平臺無需在云上建立HPC集群，本地網絡也無需將任務和任務對應的數據均傳輸至云平臺。因此，有利于提高高性能計算的效率。

技術領域

本申請實施例涉及云計算領域，尤其涉及一種作業處理方法以及相關設備。

背景技術

遠程直接內存訪問(remote direct memory access，RDMA)是一種繞過遠程主機操作系統內核訪問其內存中數據的技術，可以節省處理資源，提高系統吞吐量，降低系統的網絡通信延遲。該RDMA技術有多種實現方式，其中一種為基于融合以太網的RDMA(remotedirect memory access over converged ethernet，RDMA over converged ethernet，RoCE)。該RoCE技術常應用于基于統一集群的高性能計算(high-performance computing，HPC)中。

在現有技術中，當基于RoCE網絡的本地HPC集群的計算資源不足以支持高性能計算時，本地HPC集群將向云平臺申請計算資源。于是，云平臺將在云上重建一個HPC集群，并且，云平臺將來自本地HPC集群的任務和任務對應的數據發送給云上的HPC集群中的云資源控制節點，由云資源控制節點將前述任務和任務對應的數據分配給云計算節點，以使得云計算節點根據前述任務執行高性能計算。

但是，由于，云上的HPC集群和本地的HPC集群是兩個相互獨立的集群。本地的HPC集群需要將任務和任務對應的數據均傳輸至云上的HPC集群，云上的HPC集群才能進行高性能計算。在此過程中，需要本地的HPC集群中的本地資源控制節點對本地的任務進行劃分。但是，高性能計算過程的任務繁重且不易劃分，并且，將前述任務對應的數據傳輸至云平臺也將受傳輸帶寬的限制。因此，前述方案不能有效地提高高性能計算的效率。

發明內容

本申請實施例提供了一種作業處理方法以及相關設備，用于為本地網絡配置具有RoCE功能的云計算實例，以提高高性能計算的效率。

第一方面，本申請實施例提供了一種作業處理方法，該作業處理方法可以應用于高性能計算場景。在該作業處理方法中，云平臺將在預設條件下接收資源申請。其中，該資源申請用于指示該云平臺創建具有基于融合以太網的遠程直接內存訪問RoCE功能的云計算實例。然后，該云平臺根據該資源申請創建具有RoCE功能的云計算實例，并設置該云計算實例接入本地網絡，以使得該云計算實例對該本地網絡中的任務對應的數據進行處理。

其中，前述預設條件可以包括如下一項或多項：

本地網絡的計算資源不足以支持高性能計算；或者，用戶根據自身需求向云平臺提出資源申請等。具體此處不做限定。

本申請實施例中，由于云平臺可以根據資源申請創建具有RoCE功能的云計算實例，并且將前述云計算實例接入本地網絡，因此，該云計算實例可以越過操作系統接收來自本地網絡的任務，并越過操作系統訪問本地網絡中前述任務對應的數據，以實現對前述本地網絡中的任務對應的數據進行處理。因此，云平臺無需在云上建立HPC集群，本地網絡也無需將任務和任務對應的數據均傳輸至云平臺。因此，有利于提高高性能計算的效率。

基于前述第一方面，在一種可選的實施方式中，前述本地網絡中設置有任務發放節點和任務數據存儲節點。此時，在該作業處理方法中，該云計算實例可以接收前述任務發放節點發送的任務；然后，該云計算實例根據該任務從該任務數據存儲節點通過遠程直接內存訪問RDMA獲取該任務對應的任務數據，并進行任務處理。