[發(fā)明專利]任務調(diào)度方法、裝置及計算機程序產(chǎn)品

有效

• 申請?zhí)枺?/td>: 201810712666.8
• 申請日: 2018-06-29
• 公開（公告）號: CN109144689B
• 公開（公告）日: 2023-06-06
• 發(fā)明（設計）人: 高楊東
• 申請（專利權）人: 華為云計算技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 張月婷

一種任務調(diào)度方案，基于邏輯時鐘和分布式系統(tǒng)的負載指數(shù)生成后臺任務的配額，將配額分配給多個業(yè)務節(jié)點進行處理，從而實現(xiàn)基于分布式系統(tǒng)負載在邏輯時鐘周期后臺任務的靈活調(diào)度，提高了后臺任務調(diào)度的靈活性和實時性，保障了后臺任務調(diào)度的準確性。

技術領域

本發(fā)明涉及信息技術領域，更具體地，涉及一種任務調(diào)度方法、裝置及計算機程序產(chǎn)品。

背景技術

在公有云中，與用戶操作時延息息相關的前臺業(yè)務只需要完成流程較簡單的標記操作即可以將操作結果返回給客戶，然后再由后臺任務定時處理所有的數(shù)據(jù)。比如用戶刪除某一個有著1百萬文件的文件夾，客戶端選擇這個文件夾點擊刪除后，公有云的服務端在收到這個批量刪除的請求后，前臺業(yè)務只需要在緩存或者數(shù)據(jù)庫里將這個文件夾打上一個刪除的標簽，就可以向用戶返回刪除操作已經(jīng)成功的響應消息。此次業(yè)務處理只涉及一次緩存或數(shù)據(jù)庫的讀寫操作，時延在毫秒數(shù)據(jù)級，下一次在查詢用戶的數(shù)據(jù)資源時會剔除有刪除標記的記錄，客戶端所見刪除操作馬上生效，幾乎是實時的反饋。而接下來真正的清理這批被打上“刪除”標簽的文件夾中的文件全部屬于后臺任務。

在公有云的服務當中，盡管需要數(shù)量巨大的后臺任務，然而，為了滿足前臺業(yè)務的可接入性、接入質量與性能，后臺任務的優(yōu)先級要低于前臺業(yè)務。

現(xiàn)有技術中，公有云中基于時間配置來調(diào)度后臺任務，比如一般認為凌晨0-6點用戶使用公有云業(yè)務比較少，設置公有云在這個時間段大量執(zhí)行后臺任務。然而現(xiàn)有操作對經(jīng)驗要求太高，靈活性和易用性不足，后臺任務調(diào)度缺乏準確性。

發(fā)明內(nèi)容

本發(fā)明實施例第一方面，提供了一種分布式系統(tǒng)中任務調(diào)度方法，所述分布式系統(tǒng)中包含多個業(yè)務節(jié)點，所述多個業(yè)務節(jié)點中的一個為主業(yè)務節(jié)點；所述主業(yè)務節(jié)點獲取所述分布式系統(tǒng)在前一個邏輯時鐘周期的負載指數(shù)，根據(jù)所述負載指數(shù)生成當前邏輯時鐘周期后臺任務的配額，將所述配額分配給所述多個業(yè)務節(jié)點。從而實現(xiàn)基于分布式系統(tǒng)負載在邏輯時鐘周期對后臺任務的靈活調(diào)度，提高了后臺任務調(diào)度的靈活性和實時性，保障了后臺任務調(diào)度的準確性。進一步的，由于主業(yè)務節(jié)點根據(jù)前一個邏輯時鐘周期內(nèi)負載指數(shù)生成后臺任務，可以根據(jù)分布式系統(tǒng)中的負載調(diào)整后臺任務的配額，實現(xiàn)分布式系統(tǒng)中后臺任務的統(tǒng)一規(guī)劃，避免無效的后臺任務和分布式系統(tǒng)中資源的浪費。

結合本發(fā)明實施例第一方面，在第一種可能的實現(xiàn)方式中，所述前一個邏輯時鐘周期的負載指數(shù)是基于所述分布式系統(tǒng)的業(yè)務失敗率、時延、令牌消耗量、每一個業(yè)務節(jié)點的中央處理單元和內(nèi)存使用率中的至少一個參數(shù)確定的。

結合本發(fā)明實施例第一方面或第一方面的第一種可能的實現(xiàn)方式，在第二種可能的實現(xiàn)方式中，所述主業(yè)務節(jié)點根據(jù)所述負載指數(shù)生成當前邏輯時鐘周期內(nèi)后臺任務的配額，具體包括：

所述主業(yè)務節(jié)點根據(jù)所述負載指數(shù)以及所述分布式系統(tǒng)的后臺任務總量生成所述當前邏輯時鐘周期內(nèi)后臺任務的配額。分布式系統(tǒng)在基于邏輯時鐘進行后臺任務調(diào)度時，同時考慮分布式系統(tǒng)的負載指數(shù)，在對后臺任務進行調(diào)度時，不影響前臺業(yè)務，從而保證分布式系統(tǒng)的前臺業(yè)務性能。由于主業(yè)務節(jié)點根據(jù)前一個邏輯時鐘周期內(nèi)負載指數(shù)生成后臺任務，可以根據(jù)分布式系統(tǒng)中的負載調(diào)整后臺任務的配額，實現(xiàn)分布式系統(tǒng)中后臺任務的統(tǒng)一規(guī)劃，避免無效的后臺任務和分布式系統(tǒng)中資源的浪費。

結合本發(fā)明實施例第一方面或第一方面的第一或第二種可能的實現(xiàn)方式，在第三種可能的實現(xiàn)方式中，分布式系統(tǒng)還包括服務節(jié)點，服務節(jié)點用于生成邏輯時鐘，向主業(yè)務節(jié)點發(fā)送邏輯時鐘。分布式系統(tǒng)使用服務節(jié)點生成的邏輯時鐘，從而保證分布式系統(tǒng)中節(jié)點進展之間的相對一致性。

結合本發(fā)明實施例第一方面或第一方面的第一至第三種任一可能的實現(xiàn)方式，在第四種可能的實現(xiàn)方式中，分布式系統(tǒng)還包括管理節(jié)點，管理節(jié)點用于收集分布式系統(tǒng)中的負載信息，生成負載指數(shù)。其中，負載指數(shù)用于指示分布式系統(tǒng)當前的負載狀態(tài)。進一步的，管理節(jié)點還用于向主業(yè)務節(jié)點發(fā)送負載指數(shù)。具體的，管理節(jié)點用于生成前一個邏輯時鐘周期內(nèi)分布式系統(tǒng)的負載指數(shù)。進一步的，管理節(jié)點還用于生成當前邏輯時鐘周期內(nèi)分布式系統(tǒng)的負載指數(shù)。