[發明專利]調度方法、調度器、存儲介質及系統

有效

• 申請號: 201810244746.5
• 申請日: 2018-03-23
• 公開（公告）號: CN110297699B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 徐聰;劉瀏;張海波
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 肖慶武

本公開提供了一種調度方法、調度器、存儲介質及系統，屬于通信技術領域。該方法包括：獲取關聯關系圖和數據分布信息，關聯關系圖中每個節點指代一條數據，每條有向邊用于表示根據源節點指代的數據進行計算得到目的節點指代的數據的作業請求；按照預設節點排序策略，依次將以遍歷到的節點對應的作業請求定位到所述遍歷到的節點指代的數據所在的任一服務器中；將至少一條有向邊表示的至少一個作業請求依次調度至所定位的服務器中。通過以關聯關系圖來表示數據之間的關聯關系以及作業請求與數據的對應關系，以數據分布信息來表示數據分布情況，可以減少跨節點的數據傳輸，進而縮短整體作業請求的作業執行時間，提高計算效率，提升系統性能。

技術領域

本公開涉及通信技術領域，特別涉及一種調度方法、調度器、存儲介質及系統。

背景技術

伴隨著數據規模的增長和數據多樣性的發展趨勢，數據分析和處理技術也在不斷進行著改進，目前已出現了多種數據分析處理架構，如Hadoop/MapReduce(分布式計算/映射歸并)架構、基于內存計算的大數據處理框架Spark等。基于這些數據分析處理架構開發的大數據應用，能夠提高大數據分析處理的效率，一定程度上滿足了大數據分析處理對于實時性的需求。

大數據應用具體實現時需要構建具有一定規模的計算集群，并根據需求動態調整計算集群內部的計算資源。為了滿足上述需求，通常會將大數據應用部署在云計算系統，通過云計算系統可以實現統一的管理以及更加靈活的管理調度。然而，云計算系統為大數據應用帶來很多便利條件的同時，也面臨著亟需解決的諸多問題，其中用戶最為關注的就是性能問題，即云計算系統整體的作業執行時間的問題。

參見圖1，其示出了一種云計算系統的架構示意圖，該云計算系統包括作業層和平臺層，作業層包括調度器，平臺層包括多個服務器，這些服務器可以作為存儲節點來存儲數據，還可以作為計算節點來根據存儲的數據進行計算。目前云計算系統通常會采用作業層調度策略，即終端提交作業請求，作業層的調度器會將接收到的多個作業請求添加到調度隊列，并按照預設排序策略對調度隊列中的多個作業請求進行排序，按照排列的順序依次將每個作業請求調度到服務器上，由調度的服務器按照該作業請求并根據該作業請求對應的數據進行計算。而在上述調度過程中，數據的存儲位置固定不變。綜上所述，云計算系統采用了固定數據、移動計算的調度方式。

計算過程會受到數據分布情況的影響，例如，如果某一作業請求所需的數據分布在不同的服務器上，當某一服務器在按照該作業請求進行計算的過程中，需要從其他的服務器傳輸所需的數據，這會導致跨節點的數據傳輸。而上述調度過程中數據的存儲位置固定不變，調度效果只能依賴于初始的數據分布情況，如果初始的數據分布情況不佳，就會導致計算過程存在著大量的跨節點的數據傳輸，進而導致作業執行時間過長，計算效率低下，影響了云計算系統的性能。

發明內容

本公開提供了一種調度方法、調度器、存儲介質及系統，以解決上述問題。所述技術方案如下：

第一方面，提供了一種調度方法，應用于云計算系統的調度器中，所述云計算系統包括所述調度器以及多個服務器，所述多個服務器用于存儲數據，所述方法包括：

獲取關聯關系圖和數據分布信息，所述關聯關系圖包括多個節點以及至少一條有向邊，每個節點指代一條數據，每條有向邊具有一個源節點和一個目的節點，所述有向邊由所述有向邊的源節點指向所述有向邊的目的節點，所述有向邊用于表示根據所述有向邊的源節點指代的數據進行計算得到所述有向邊的目的節點指代的數據的作業請求，所述數據分布信息包括每條數據所在的服務器；

根據所述關聯關系圖和所述數據分布信息，按照預設節點排序策略遍歷所述關聯關系圖中的節點，依次將遍歷到的節點對應的作業請求定位到所述遍歷到的節點指代的數據所在的任一服務器中，所述節點對應的作業請求是指以所述節點作為源節點的有向邊表示的作業請求；

將所述至少一條有向邊表示的至少一個作業請求依次調度至所定位的服務器中。