[發明專利]一種基于LightGBM的資源調度優先級自適應方法

在審

• 申請號: 202110751835.0
• 申請日: 2021-07-02
• 公開（公告）號: CN113435526A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 陸贏;孫雪濤;匡華星;王琦
• 申請（專利權）人: 中國船舶重工集團公司第七二四研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于LightGBM的資源調度優先級自適應方法，對任務的期望完成時間、已等待時間、預計執行時間特征進行預處理，生成相對期望完成時間、相對已等待時間、相對預計執行時間；將任務的優先級等數值特征進行歸一化；隨機抽取數據集，以8:2比例分為訓練集和測試集；將預處理完的訓練集通過LightGBM多分類模型進行訓練。本發明適用于資源調度中任務自動生成對應優先級，且對具備對應特征的相關資源調度方法有不錯的魯棒性，能夠提升資源調度的效率和利用率。

技術領域

本發明涉及一種資源調度方法。

背景技術

資源調度一直是系統的重要組成部分，用以安排任務執行順序以及分配資源。近年來，機器學習的實際應用以及發展，使得許多不同的應用領域有了突破性的進展。目前資源調度方法主要有以下幾種：(1)傳統的調度算法；(2)人工智能優化算法；(3)將人工智能算法應用于傳統資源調度的算法。第一種方法受限于應用場景，都有自身不適用的情況，且依賴于專家經驗。第二種方法主要應用于大空間問題，提供了一種比傳統方法更動態、可靠、具有魯棒性的調度方案，但對于計算量的要求則更為苛刻，多應用于云計算等計算資源豐富的情況下，在小型的系統中難以有足夠的計算資源以保證資源調度的實時性。結合實際需求，本發明采用第三種方法。

發明內容

本發明在現有技術的基礎上，結合經典的時間片輪轉法、優先級算法，提出了一種基于LightGBM的資源調度優先級自適應方法，對數據進行預處理，生成新特征，排除異常數據，統一優先級規范，數值歸一化，處理完的數據即可用于訓練模型，訓練結束后，所得模型可用于具備相應特征的資源調度優先級自適應方法。本發明適用于資源調度中任務自動生成對應優先級，且對具備對應特征的相關資源調度方法有不錯的魯棒性，能夠提升資源調度的效率和利用率。

本發明提出的一種基于LightGBM的資源調度優先級自適應方法，具體步驟為：

步驟1：任務的期望完成時間、已等待時間、預計執行時間特征轉化為相對特征；

步驟2：利用歸一化操作將不同優先級規范統一；

步驟3：隨機抽取數據集，以比例分為訓練集和測試集；

步驟4：模型訓練階段，將預處理完的訓練集作為訓練樣本進行訓練；

步驟5：模型測試階段，將預處理完的測試集作為測試樣本進行測試；

步驟6：重復步驟3～步驟5，直至所得模型魯棒性足夠、準確率滿足要求；

步驟7：應用模型時，按步驟1～步驟3對數據進行預處理，并僅輸入模型所需的特征，得出對應的優先級。

本發明與現有技術相比，其顯著優點為：(1)利用機器學習實現資源調度優先級自適應，緩解專家系統壓力，易于迭代更新；(2)相較于現有的基于XGBoost的算法，本發明降低了訓練以及實際使用過程中計算量；(3)本發明適用于具備相應特征的資源調度，具有魯棒性；(4)預處理所新生成的特征有效提高資源調度的效率和利用率。

下面結合附圖對本發明做進一步詳細的描述。

附圖說明

圖1為一種基于LightGBM的資源調度優先級自適應方法流程圖；

圖2為跨時間片任務的具體處理方案說明圖。

具體實施方式

下面結合附圖和具體實施方式對本發明做更進一步的具體說明，但本發明的保護范圍不受實施條例的限制。

如圖1示例所示，本發明對任務的期望完成時間、已等待時間、預計執行時間特征進行預處理，生成相對期望完成時間、相對已等待時間、相對預計執行時間；將任務的優先級等數值特征進行歸一化；隨機抽取數據集，按比例分為訓練集和測試集，優選比例為8:2；將預處理完的訓練集通過LightGBM多分類模型進行訓練。具體包括如下步驟：