[發明專利]大數據資源處理方法、裝置、終端及存儲介質

在審

• 申請號: 202010015241.9
• 申請日: 2020-01-07
• 公開（公告）號: CN111198767A
• 公開（公告）日: 2020-05-26
• 發明（設計）人: 許璐
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06K9/62
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 劉麗華;孫芬

1.一種大數據資源處理方法，應用于大數據平臺中，其特征在于，所述大數據資源處理方法包括：

初始化所述大數據平臺中的大數據資源對應的多層隊列，得到隊列的初始資源；

根據所述隊列的初始資源確定每層隊列的性能標識；

當接收到客戶端輸出的任務處理請求時，調用預設個數的資源量監聽器監聽所述多層隊列中每層隊列的剩余資源量；

采用預先訓練的任務時長消耗模型預測出所述任務消耗的預計時長；

根據所述任務消耗的預計時長確定所述任務消耗的預計資源量；

將所述多層隊列中剩余資源量大于所述預計資源量的隊列確定為待選隊列；

從所述待選隊列中匹配出性能標識為第一性能標識的目標隊列，其中，所述第一性能標識所對應的隊列的初始資源大于其他性能標識所對應的隊列的初始資源；

將所述任務分配給所述目標隊列。

2.根據權利要求1所述的大數據資源處理方法，其特征在于，所述根據所述隊列的初始資源確定每層隊列的性能標識的步驟包括：

判斷每層隊列的所述初始資源是否介于預設第一資源閾值與預設第二資源閾值之間，其中，所述第一資源閾值大于所述第二資源閾值；

當所述初始資源大于所述預設第一資源閾值時，確定與所述初始資源對應的隊列的性能標識為第一性能標識；

當所述初始資源小于所述預設第一資源閾值且大于所述預設第二資源閾值時，確定與所述初始資源對應的隊列的性能標識為第二性能標識；

當所述初始資源小于所述預設第二資源閾值時，確定與所述初始資源對應的隊列的性能標識為第三性能標識。

3.根據權利要求1所述的大數據資源處理方法，其特征在于，當接收到客戶端輸出的任務處理請求時，所述方法還包括：

調用服務器端的任務調度器獲取所述任務的描述文件；

根據所述描述文件識別所述任務的任務名稱；

根據所述任務名稱判斷所述任務是否為首次提交；

當所述任務為首次提交時，選擇預定隊列運行所述任務；

當所述任務不為首次提交時，從歷史運行記錄中篩選出與所述任務具有相同屬性的歷史任務所消耗的歷史時長，并根據所述歷史時長采用預先訓練的任務時長消耗模型預測出所述任務消耗的預計時長。

4.根據權利要求3所述的大數據資源處理方法，其特征在于，所述根據所述任務名稱判斷所述任務是否為首次提交的步驟包括：

根據所述任務名稱遍歷資源調度庫；

判斷所述資源調度庫中是否存在與所述任務名稱相同的任務名稱；

若判斷結果為不存在與所述任務名稱相同的任務名稱，則確定所述任務為首次提交；

若判斷結果為存在與所述任務名稱相同的任務名稱，則確定所述任務不為首次提交。

5.根據權利要求3所述的大數據資源處理方法，其特征在于，所述從歷史運行記錄中篩選出與所述任務具有相同屬性的歷史任務所消耗的歷史時長的步驟包括：

獲取與所述任務具有相同屬性的歷史任務在預設天數內的歷史時長；

根據在所述預設天數內的歷史時長計算平均運行時長；

將所述歷史時長與所述平均運行時長代入方差計算公式，得到與所述任務具有相同屬性的歷史任務所消耗的歷史時長的方差值；

根據所述歷史時長的方差值得到所述任務的歷史時長。