[發明專利]資源調度的數據抽取方法、系統、存儲介質及設備

有效

• 申請號: 202310383347.8
• 申請日: 2023-04-12
• 公開（公告）號: CN116126545B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 劉恩祥;紀崢嶸;何長海;曾忠安;樊海東;葉凱;丁川;魯冰青
• 申請（專利權）人: 江蘇曼荼羅軟件股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 南昌旭瑞知識產權代理事務所(普通合伙) 36150
• 代理人: 劉紅偉

1.一種資源調度的數據抽取方法，其特征在于，所述方法包括：

計算服務器系統在執行數據抽取任務時所述服務器系統的空余資源；

獲取所述數據抽取任務的任務執行參數，所述任務執行參數包括所述數據抽取任務的重要性等級、資源消耗量、數據抽取耗時以及數據抽取任務的等待時間；

基于預設的資源抽取規則，在所述空余資源中抽取部分資源作為應急資源，并根據所述任務執行參數中的重要性等級確定所述服務器系統執行所述數據抽取任務的優先級；

將所述應急資源設定多個等級的數據處理線程，包括關鍵線程、次關鍵線程與普通線程；

根據所述數據抽取任務的優先級，控制所述服務器系統將所述數據抽取任務對應于不同等級的數據處理線程進行執行；

其中，獲取所述數據抽取任務的任務執行參數的步驟中，還包括：

當所述數據抽取任務的等待時間減小至最小等待時間，提升所述數據抽取任務的執行效率；

其中，所述最小等待時間的計算公式為：

；

式中，n為第n個數據抽取任務，Rn為第n個數據抽取任務的重要性等級，TWn為第n個數據抽取任務的等待時間，TRn為第n個數據抽取任務的數據抽取耗時。

2.根據權利要求1所述的資源調度的數據抽取方法，其特征在于，基于預設的資源抽取規則，在所述空余資源中抽取部分資源作為應急資源，并根據所述任務執行參數中的重要性等級確定所述服務器系統執行所述數據抽取任務的優先級的步驟中，還包括：

當的計算值越小，并且Pβ+Cn≤Pn，則所述數據抽取任務的優先級越高；

式中，n為第n個數據抽取任務，Cn為第n個數據抽取任務的資源消耗量，Pβ為應急資源，Pn為資源總量。

3.根據權利要求2所述的資源調度的數據抽取方法，其特征在于，將所述應急資源設定多個等級的線程的步驟，具體包括：

將所述應急資源采用分桶方式，設定多個線程；

其中，多個線程包括1個關鍵線程、3個次關鍵線程與6個普通線程。

4.根據權利要求1所述的資源調度的數據抽取方法，其特征在于，所述根據所述數據抽取任務的優先級，控制所述服務器系統將所述數據抽取任務對應于不同等級的數據處理線程進行執行的步驟，具體包括：

當多個線程中有線程空閑時，優先分配關鍵任務至所述關鍵線程中與次關鍵線程按正序擇一執行；

再次分配次關鍵任務至所述次關鍵線程與普通線程按正序擇一線程進行執行；

并再次分配普通任務至普通線程中執行。

5.根據權利要求4所述的資源調度的數據抽取方法，其特征在于，所述方法還包括：

當所述關鍵任務在所述關鍵線程或次關鍵線程中執行的數據抽取耗時大于該關鍵任務對應的數據抽取耗時，將所有數據處理線程中未執行數據抽取任務的數據處理線程進行調取；

控制所述關鍵線程或次關鍵線程與其它被調用線程交替執行所述關鍵任務。