[發明專利]性能特征降維方法及裝置、電子設備及存儲介質

在審

• 申請號: 201910875358.1
• 申請日: 2019-09-17
• 公開（公告）號: CN110737648A
• 公開（公告）日: 2020-01-31
• 發明（設計）人: 吳超勇
• 申請（專利權）人: 平安科技(深圳)有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27;G06K9/62
• 代理公司: 11327 北京鴻元知識產權代理有限公司
• 代理人: 袁文婷;王迎

本發明涉及數據處理領域，提出一種性能特征降維方法、裝置及計算機可讀存儲介質，該方法包括：在服務器集群中部署Agent包，所述Agent包采集服務器集群中集群服務器的性能指標，構成指標數據集；對所述指標數據集進行各維度的數據清洗獲得有效指標數據；將所述有效指標數據存放于HDFS分布式文件系統中，對所述HDFS分布式文件系統中的有效指標數據進行性能特征提取，并將提取出的性能特征存儲于HBase數據庫；對所述HBase數據庫中的性能特征進行基于PCA的特征降維。

技術領域

本發明涉及數據處理領域，尤其涉及一種性能特征降維方法及裝置、電子設備及存儲介質。

背景技術

伴隨著數據庫技術的廣泛應用和發展，在數據庫的基礎上產生了能夠滿足決策分析所需要的數據環境，集群服務器性能種類繁多，各指標數據均能夠從不同維度反應主機的健康狀態，但數據環境龐大，極易存在數據繁雜，對服務器定位不準確的問題，所以需要對繁雜的性能指標進行數據清洗。

只有通過分析“臟數據”的產生原因和存在形式，利用技術手段和方法去清洗“臟數據”，將原有的不符合要求的數據轉化為滿足數據質量或應用要求的數據，才能將服務器的問題定位的更加準確，但是在現有的模型訓練過程中，對全指標的訓練模型復雜，效率低下，很難準確地根據性能指標得出預測結果。

因此，亟須一種服務器性能特征降維方法，以降低對全指標訓練模型的復雜度，節省模型訓練的時間成本，大大降低后續特征分析、模型訓練、數據挖掘復雜度，能讓各個層面的性能指標更準確、更高效反映主機健康狀態。

發明內容

本發明提供一種性能特征降維方法及裝置、電子設備及存儲介質，其主要目的在于通過采集數據并進行數據清洗，提取性能特征，然后對性能特征降維來降低全指標訓練模型的復雜度，節省模型訓練的時間成本，降低后續分析、數據挖掘的復雜度，使各個層面的性能指標更明確、更高效地反映服務器集群中集群服務器的健康狀態。

為實現上述目的，本發明提供的性能特征降維方法，應用于電子設備，所述方法包括：

在服務器集群中部署Agent包，通過所述Agent包采集服務器集群中集群服務器的性能指標，并將所采集的所有性能指標形成指標數據集；所述性能指標至少包括CPU參數、mem參數、disk參數；

對所述指標數據集進行基于預設維度的數據清洗以獲得有效指標數據；

對所述有效指標數據進行性能特征提取，并將提取出的性能特征存儲于HBase數據庫；

對所述存儲于所述HBase數據庫中的性能特征進行基于PCA的特征降維。

在一個實施例中，在服務器集群中部署Agent包，通過所述Agent包采集服務器集群中集群服務器的性能指標的過程包括：

在所述服務器集群中的云主機或應用容器中部署Agent包；

調整所述Agent包至集群服務器的防火墻策略，以通過所述Agent包修改中間件啟動參數和重啟中間件應用并采集性能指標。

在一個實施例中，對所述指標數據集進行基于預設維度的數據清洗以獲得有效指標數據的過程包括：

獲取指標數據集，并對所述指標數據集中的指標數據執行奇異值查找預處理；

基于Hadoop剔除所述指標數據的奇異值，并用所述指標數據的算術平均值補充剔除奇異值后的缺值。

在一個實施例中，所述奇異值查找預處理的過程包括：

計算出指標數據序列值的算術平均值及剩余誤差，并根據貝塞爾公式計算出指標數據序列值的標準偏差估計值，根據指標數據序列號從Chauvenet Criterion表中查出與指標數據序列號對應的系數Z_c；