[發明專利]性能特征降維方法及裝置、電子設備及存儲介質

在審

• 申請號: 201910875358.1
• 申請日: 2019-09-17
• 公開（公告）號: CN110737648A
• 公開（公告）日: 2020-01-31
• 發明（設計）人: 吳超勇
• 申請（專利權）人: 平安科技(深圳)有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27;G06K9/62
• 代理公司: 11327 北京鴻元知識產權代理有限公司
• 代理人: 袁文婷;王迎

1.一種性能特征降維方法，應用于電子設備，其特征在于，所述方法包括：

在服務器集群中部署Agent包，通過所述Agent包采集服務器集群中集群服務器的性能指標，并將所采集的所有性能指標形成指標數據集；所述性能指標至少包括CPU參數、mem參數、disk參數；

對所述指標數據集進行基于預設維度的數據清洗以獲得有效指標數據；

對所述有效指標數據進行性能特征提取，并將提取出的性能特征存儲于HBase數據庫；

對存儲于所述HBase數據庫中的性能特征進行基于PCA的特征降維。

2.根據權利要求1所述的性能特征降維方法，其特征在于，在服務器集群中部署Agent包，通過所述Agent包采集服務器集群中集群服務器的性能指標的過程包括：

在所述服務器集群中的云主機或應用容器中部署Agent包；

調整所述Agent包至集群服務器的防火墻策略，以通過所述Agent包修改中間件啟動參數和重啟中間件應用并采集性能指標。

3.根據權利要求1所述的性能特征降維方法，其特征在于，對所述指標數據集進行基于預設維度的數據清洗以獲得有效指標數據的過程包括：

獲取指標數據集，并對所述指標數據集中的指標數據執行奇異值查找預處理；

基于Hadoop剔除所述指標數據的奇異值，并用所述指標數據的算術平均值補充剔除奇異值后的空缺。

4.根據權利要求3所述的性能特征降維方法，其特征在于，所述奇異值查找預處理的過程包括：

計算出指標數據序列值的算術平均值及剩余誤差，并根據貝塞爾公式計算出指標數據序列值的標準偏差估計值，根據指標數據序列號從Chauvenet Criterion表中查出與指標數據序列號對應的系數Z_c；

對所述指標數據序列值進行奇異值判斷，當指標數據序列值的剩余誤差大于所述標準偏差估計值與所述系數Z_c的乘積時，判斷出所述指標數據是奇異值。

5.根據權利要求4所述的性能特征降維方法，其特征在于，所述指標數據序列值為所述指標數據集中存在的指標數據的實際值，所述指標數據序列號為所述指標數據集中指標數據的排列序號，所述預設維度至少包括有效值、均方根值、脈沖指標、裕度指標、均方頻率。

6.根據權利要求1所述的性能特征降維方法，其特征在于，在對所述有效指標數據進行性能特征提取的過程中，包括：

通過Hadoop從分布式文件系統HDFS中讀取有效指標數據；

提取所述有效指標數據的各維度特征。

7.根據權利要求1所述的性能特征降維方法，其特征在于，對存儲于所述HBase數據庫中的性能特征進行基于PCA的特征降維的過程包括：

將存儲于所述HBase數據庫中的性能特征整合為符合預設格式的標準化數據；

根據所述標準化數據建立所述性能特征的協方差、特征值和特征向量，并根據所述協方差、特征值和特征向量計算得出所述性能特征的特征保有率；

基于所述特征保有率得出所述性能特征的主成分系數，計算出所述性能特征的主成分。

8.一種性能特征降維裝置，其特征在于，所述裝置包括：

部署模塊，用于在服務器集群中部署Agent包；

采集形成模塊，用于通過所述Agent包采集服務器集群中集群服務器的性能指標，并將所采集的所有性能指標形成指標數據集；所述性能指標至少包括CPU參數、mem參數、disk參數；

清洗模塊，用于對所述指標數據集進行基于預設維度的數據清洗以獲得有效指標數據；

提取存儲模塊，用于對所述有效指標數據進行性能特征提取，并將提取出的性能特征存儲于HBase數據庫；

特征降維模塊，用于對存儲于所述HBase數據庫中的性能特征進行基于PCA的特征降維。