[發明專利]一種數據調度方法和裝置

有效

• 申請號: 201510041277.3
• 申請日: 2015-01-27
• 公開（公告）號: CN104536827B
• 公開（公告）日: 2019-05-28
• 發明（設計）人: 鄧宇羽
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 王康;李丹

本發明公開了一種數據調度方法和裝置，包括：預先設置原始線程、任務調度線程和線程池，所述線程池包括至少一條執行線程；任務調度線程確定來自原始線程的任務的優先級和執行線程的負載度；任務調度線程將優先級為第一預設值的任務調度給負載度為第二預設值的執行線程。通過本發明方法，能夠實現多線程的負載均衡，提高系統的處理速度。

技術領域

本發明涉及數據處理技術領域，尤指一種數據調度方法和裝置。

背景技術

數據的存儲向大數據(Big data)方向發展，大數據的爆炸式增長在大容量、多樣性和高增速方面，全面考驗著現代企業的數據處理和分析能力。隨著微處理器和操作系統的發展，高性能的應用程序越來越成為經濟社會發展的需要。應用程序可以使用多個線程來提高執行效率，這為系統的負載均衡帶來了巨大挑戰，例如，將線程與CPU核心綁定后，線程之間負載不均衡將會導致CPU核心的負載不均衡，整個系統無法達到最佳利用率，甚至影響系統的吞吐量。

多線程中每個線程的生命周期不同。一方面，對于多線程中生命周期不重疊的部分，當線程映射到CPU核心后，會導致一些CPU核心處于空閑狀態，沒有充分發揮CPU的資源利用率；另一方面，對于生命周期重疊的部分，各個線程所執行的任務負載也不一定相同，從而導致有的CPU核心在線程執行完后處于空閑狀態，如此影響了系統的負載均衡，進而影響了系統的處理速度。

發明內容

為了解決上述技術問題，本發明提供了一種數據調度方法和裝置，能夠實現多線程的負載均衡，提高系統的處理速度。

為了達到本發明目的，本發明提供了一種數據調度方法，包括：預先設置原始線程、任務調度線程和線程池，所述線程池包括至少一條執行線程；任務調度線程確定原始線程中的任務的優先級和執行線程的負載度；任務調度線程將優先級為第一預設值的任務調度給負載度為第二預設值的執行線程。

所述任務調度線程確定原始線程中的任務的優先級之前，還包括：所述原始線程獲取任務請求中的任務，通過計算完成任務需要調用的每個函數在單個CPU上的時間來獲得任務的預計完成時間，將包括任務的入口地址和預計完成時間的任務信息發送給所述任務調度線程；

所述任務調度線程確定原始線程中的任務的優先級，包括：所述任務調度線程接收來自原始線程的任務信息，確定任務的批次，并根據任務的預計完成時間和批次計算任務的優先級：

優先級＝任務預計完成時間×可調系數R；

其中，所述R與任務的批次相對應，R∈(0.5，1)。

所述任務調度線程確定執行線程的負載度之前，還包括：所述執行線程獲取自身任務隊列中的任務處理信息，所述任務處理信息包括任務隊列總時間、預計完成時間、當前任務消耗時間和任務平均時間，并將任務處理信息提交給任務調度程序；

所述任務調度線程確定執行線程的負載度，包括：

所述任務調度線程根據所述任務處理信息計算執行線程的負載度：

負載度＝任務隊列總時間+(預計完成時間-當前任務消耗時間)/預計完成時間×任務平均時間，

其中，所述任務隊列總時間為執行線程的任務隊列中所有任務預計完成時間之和；

所述預計完成時間為執行線程完成當前任務所需要的時間；

所述當前任務消耗時間為執行線程完成當前任務已消耗的時間；

所述任務平均時間為所有任務預計完成時間/任務數。

所述第一預設值為優先級最高，第二預設值為負載度最低；所述任務調度線程將優先級為第一預設值的任務調度給負載度為第二預設值的執行線程，包括：所述任務調度線程將優先級最高的任務調度給負載度最低的執行線程。