[發明專利]調度方法、調度器、存儲介質及系統

有效

• 申請號: 201810244746.5
• 申請日: 2018-03-23
• 公開（公告）號: CN110297699B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 徐聰;劉瀏;張海波
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 肖慶武

1.一種調度方法，其特征在于，所述方法包括：

獲取關聯關系圖和數據分布信息，所述關聯關系圖包括多個節點以及至少一條有向邊，每個節點指代一條數據，每條有向邊具有一個源節點和一個目的節點，所述有向邊由所述有向邊的源節點指向所述有向邊的目的節點，所述有向邊用于表示根據所述有向邊的源節點指代的數據進行計算得到所述有向邊的目的節點指代的數據的作業請求，所述數據分布信息包括每條數據所在的服務器；

根據所述關聯關系圖和所述數據分布信息，按照預設節點排序策略遍歷所述關聯關系圖中的節點，依次將遍歷到的節點對應的作業請求定位到所述遍歷到的節點指代的數據所在的任一服務器中，所述節點對應的作業請求是指以所述節點作為源節點的有向邊表示的作業請求；

將所述至少一條有向邊表示的至少一個作業請求依次調度至所定位的服務器中。

2.根據權利要求1所述的方法，其特征在于，所述預設節點排序策略為按照度數從大到小的順序進行排序的策略，所述度數是指節點連接的有向邊的數量，所述根據所述關聯關系圖和所述數據分布信息，按照預設節點排序策略遍歷所述關聯關系圖中的節點，依次將遍歷到的節點對應的作業請求定位到所述遍歷到的節點指代的數據所在的任一服務器中，包括：

按照所述預設節點排序策略遍歷所述關聯關系圖中的節點，將所述關聯關系圖中當前度數最大的節點確定為所述遍歷到的節點；

將所述遍歷到的節點對應的作業請求定位到所述遍歷到的節點指代的數據所在的任一服務器中；

將以所述遍歷到的節點作為源節點的有向邊刪除；

繼續按照所述預設節點排序策略遍歷所述關聯關系圖中的節點，將所述關聯關系圖中當前度數最大的節點確定為所述遍歷到的節點，對所述遍歷到的節點進行所述定位作業請求的步驟和所述刪除對應有向邊的步驟，直至所述關聯關系圖中所有節點的度數均不大于1為止。

3.根據權利要求1所述的方法，其特征在于，所述獲取關聯關系圖和數據分布信息之前，所述方法還包括：

獲取日志記錄，所述日志記錄包括作業請求記錄和數據處理記錄；

根據所述作業請求記錄構建隨機排隊模型，基于所述隨機排隊模型確定所述作業請求記錄中的每個作業請求的輸入數據和輸出數據；

根據所述數據處理記錄構建數據關聯模型，所述數據關聯模型中包括多個節點，每個節點指代所述數據處理記錄中的一條數據；

確定所述每個作業請求的輸入數據對應的源節點和輸出數據對應的目的節點，在所述數據關聯模型中添加由所述源節點指向所述目的節點的有向邊，得到所述關聯關系圖。

4.根據權利要求1所述的方法，其特征在于，所述獲取關聯關系圖和數據分布信息之前，所述方法還包括：

計算作業請求記錄中多個作業請求均執行結束所需的執行輪數W；

根據每個作業請求的作業執行頻率和作業執行時間，計算每個作業請求的優先度，所述優先度與所述作業執行頻率和所述作業執行時間正相關；

按照優先度從高到低的順序對所述多個作業請求進行排序，將排名第nW+m位的作業請求和排名第(n+2)W+1-m的作業請求的執行輪次確定為m，m為正整數，且m不大于W，n為整數；

所述將所述至少一條有向邊表示的至少一個作業請求依次調度至所定位的服務器中，包括：根據每個作業請求的執行輪次，將所述至少一個作業請求依次調度至所定位的服務器中。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

初始化每個作業請求的集群規模，所述作業請求對應的數據占用的服務器數量與所述作業請求的集群規模正相關；

計算每個作業請求在當前的集群規模下的作業執行時間，并增大作業執行時間最長的作業請求的集群規模；

繼續計算每個作業請求在當前的集群規模下的作業執行時間，并增大作業執行時間最長的作業請求的集群規模，直至作業執行時間最長的作業請求的集群規模對應的服務器數量等于云計算系統中的服務器總數量時為止。