[發明專利]大數據平臺實時監控方法、裝置、介質及電子設備

有效

• 申請號: 202010044188.5
• 申請日: 2020-01-15
• 公開（公告）號: CN111274088B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 毛振赫;賀波;萬書武;李均
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/25
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 魏學昊

1.一種大數據平臺實時監控方法，其特征在于，包括：

采集大數據平臺的性能相關數據及隊列資源信息；

將所述性能相關數據轉化為第一規則數據，并將所述隊列資源信息轉化為第二規則數據，所述第一規則數據與所述第二規則數據是預定格式的數據；

將所述第一規則數據及所述第二規則數據進行數據融合，得到多類融合數據；

提取所述多類融合數據中具有指標關聯關系的多個類的融合數據，并計算與所述指標關聯關系對應的平臺監控指標的平臺調度情況分數；

當所述平臺調度情況分數低于預定閾值時，利用所述平臺監控指標關聯的性能相關數據及隊列資源信息分析所述大數據平臺的調度瓶頸。

2.根據權利要求1所述的方法，其特征在于，所述將所述性能相關數據轉化為第一規則數據，并將所述隊列資源信息轉化為第二規則數據，包括：

將所述性能相關數據中每個數據中的字段進行字段拼接得到拼接數據后，將所述拼接數據歸一化為所述第一規則數據；

將所述隊列資源信息與預定閾值比較得到比較結果后，將所述比較結果歸一化為所述第二規則數據。

3.根據權利要求1所述的方法，其特征在于，所述將所述第一規則數據及所述第二規則數據進行數據融合，得到多類融合數據，包括：

獲取所述大數據平臺的預設數據融合策略，所述預設融合策略包括多個數據之間的關聯關系；

基于所述關聯關系將所述第一規則數據及所述第二規則數據中的數據進行融合，得到多類融合數據。

4.根據權利要求3所述的方法，其特征在于，所述基于所述關聯關系將所述第一規則數據及所述第二規則數據中的數據進行融合，包括：

所述第一規則數據及所述第二規則數據中獲取對應于同一個關聯關系的所有數據；

基于所述同一個關聯關系對應的預設融合算法，將所述對應于同一個關聯關系的所有數據融合為融合數據。

5.根據權利要求1所述的方法，其特征在于，所述提取所述多類融合數據中具有指標關聯關系的多個類的融合數據，計算與所述指標關聯關系對應的平臺監控指標的平臺調度情況分數，包括：

提取同一個指標所對應的多類類融合數據，并獲取所述多類融合數據中每類融合數據的預設權重；

對所述同一個指標所對應的每類融合數據與相應的預設權重求加權和，得到與所述同一個指標對應的平臺調度情況子分數，作為與所述同一個指標對應的平臺監控指標的平臺調度情況分數。

6.根據權利要求1所述的方法，其特征在于，所述利用所述平臺監控指標關聯的性能相關數據及隊列資源信息分析所述大數據平臺的調度瓶頸，包括：

獲取所述平臺監控指標對應的預先訓練好的瓶頸分析模型；

將所述平臺監控指標關聯的性能相關數據及隊列資源信息輸入所述瓶頸分析模型，得到所述大數據平臺的調度瓶頸信息。

7.根據權利要求1所述的方法，其特征在于，所述利用所述平臺監控指標關聯的性能相關數據及隊列資源信息分析所述大數據平臺的調度瓶頸，包括：

當所述調度瓶頸負荷預定瓶頸限值時，獲取所述平臺監控指標關聯的性能相關數據及隊列資源信息所對應的所述第一規則數據及所述第二規則數據；

利用所對應的所述第一規則數據及所述第二規則數據繪圖展示。

8.一種大數據平臺實時監控裝置，其特征在于，包括：

采集模塊，用于采集大數據平臺的性能相關數據及隊列資源信息；

轉化模塊，用于將所述性能相關數據轉化為第一規則數據，并將所述隊列資源信息轉化為第二規則數據，所述第一規則數據與所述第二規則數據是預定格式的數據；

融合模塊，用于將所述第一規則數據及所述第二規則數據進行數據融合，得到多類融合數據；

提取模塊，用于提取所述多類融合數據中具有指標關聯關系的多個類的融合數據，并計算與所述指標關聯關系對應的平臺監控指標的平臺調度情況分數；

分析模塊，用于當所述平臺調度情況分數低于預定閾值時，利用所述平臺監控指標關聯的性能相關數據及隊列資源信息分析所述大數據平臺的調度瓶頸。