[發明專利]大數據平臺調度預警方法、裝置及計算機可讀存儲介質

在審

• 申請號: 202010227966.4
• 申請日: 2020-03-27
• 公開（公告）號: CN111522707A
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 劉駿銳
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種大數據平臺調度預警方法，其特征在于，所述方法包括：

獲取歷史源表數據，分析所述歷史源表數據，得到歷史源表標簽數據；

獲取歷史調度任務數據，分析所述歷史調度任務數據，得到歷史調度任務標簽數據；

對當前源表以及當前調度任務進行監控得到當前源表數據和當前調度任務數據；

將所述當前源表數據與所述歷史源表標簽數據進行對比，得到源表數據監控對比結果，將所述當前調度任務數據與所述歷史調度任務標簽數據進行對比，得到調度任務對比結果；

判斷所述源表數據監控對比結果和所述調度任務對比結果中的異常信息數據，對所述異常信息數據進行關鍵字提取處理，得到關鍵字，利用所述關鍵字確定報錯場景，利用預設方法推送所述異常信息數據和所述報錯場景進行預警。

2.如權利要求1所述的大數據平臺調度預警方法，其特征在于，所述獲取歷史源表數據，分析所述歷史源表數據，得到歷史源表標簽數據，包括：

利用最大值分析算法對所述歷史源表數據進行計算，得到源表數據量最大值和源表數據增量最大值，將所述源表數據量最大值和源表數據增量最大值匯總，得到所述歷史源表標簽數據。

3.如權利要求1所述的大數據平臺調度預警方法，其特征在于，所述獲取歷史調度任務數據，分析所述歷史調度任務數據，得到歷史調度任務標簽數據，包括：

根據所述歷史調度任務數據的任務類型，對所述歷史調度任務數據進行分類統計和計算，得到所述歷史調度任務數據的每種任務類型的運行開始時間、運行結束時間、運行時長和資源消耗量最大值；

將所述每種任務類型的運行開始時間、運行結束時間、運行時長和資源消耗最大值匯總，得到所述歷史調度任務標簽數據。

4.如權利要求1至3中任意一項所述的大數據平臺調度預警方法，其特征在于，所述對當前源表以及當前調度任務進行監控得到當前源表數據和當前調度任務數據，包括：

利用JobMonitor程序監控當前源表和當前調度任務，得到包括當前源表數據量和當前源表數據增量的當前源表數據及包括任務類型、該類型任務運行開始時間、運行結束時間、運行時長和資源消耗量的當前任務調度數據。

5.如權利要求4所述的大數據平臺調度預警方法，其特征在于，所述判斷所述源表數據監控對比結果和所述調度任務對比結果中的異常信息數據，包括：

當所述當前源表數據的數據量和數據增量超過所述歷史源表標簽數據內對應數據量和數據增量的最大值，判斷為異常信息數據；

當所述當前調度任務的運行開始、結束時間與所述歷史調度任務標簽數據內對應的任務的運行開始、結束時間不一致，判斷為異常信息數據；及

當所述當前調度任務的資源消耗量超過所述歷史調度任務標簽數據內對應的資源消耗量最大值的情況，判斷為異常信息數據。

6.如權利要求5所述的大數據平臺調度預警方法，其特征在于，所述對所述異常信息數據進行關鍵字提取處理，得到關鍵字，利用所述關鍵字確定報錯場景，利用預設方法推送所述異常信息數據和所述報錯場景進行預警，包括：

對所述異常信息數據中的字符引力值、關聯度、出現頻率進行計算，得到所述報錯信息的關鍵字；

利用預設方式將所述異常信息數據和所述報錯場景發送給用戶進行預警。

7.一種大數據平臺調度預警裝置，其特征在于，所述裝置包括：

標簽數據獲取模塊，用于獲取歷史源表數據，分析所述歷史源表數據，得到歷史源表標簽數據，獲取歷史調度任務數據，分析所述歷史調度任務數據，得到歷史調度任務標簽數據；

數據監控對比模塊，用于對當前源表以及當前調度任務進行監控得到當前源表數據和當前調度任務數據，將所述當前源表數據與所述歷史源表標簽數據進行對比，得到源表數據監控對比結果，將所述當前調度任務數據與所述歷史調度任務標簽數據進行對比，得到調度任務對比結果；

對比結果判斷及預警模塊，用于判斷所述源表數據監控對比結果和所述調度任務對比結果中的異常信息數據，對所述異常信息數據進行關鍵字提取處理，得到關鍵字，利用所述關鍵字確定報錯場景，利用預設方法推送所述異常信息數據和所述報錯場景進行預警。