[發明專利]數據預處理裝置及方法

有效

• 申請號: 201410521651.5
• 申請日: 2014-09-30
• 公開（公告）號: CN104516808B
• 公開（公告）日: 2018-01-12
• 發明（設計）人: 南宮榮桓;李在英;鄭雅英;金達云
• 申請（專利權）人: 三星SDS株式會社
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 北京銘碩知識產權代理有限公司11286
• 代理人: 胡江海,金光軍

技術領域

本發明的實施例涉及一種數據預處理裝置及方法。

背景技術

近年來，隨著企業或公共機關的業務的電子化，構筑專門的數據中心的事例越來越多。對于數據中心而言，一般被構成為包括用于分別執行所分配的工作的多個服務器及用于監控各個服務器及檢測故障的專門的監控設備。

由于包括在數據中心的服務器與其他驅動服務器一起被驅動的情況多于各自獨立地被驅動，因此即便僅一部分網絡服務器出現障礙，稍有不慎也會影響整體業務。因此，迅速檢測出各個服務器的故障而應對，在運營數據中心時非常重要。但是構成數據中心的各個服務器的設備構成部件(中央處理器、存儲器、磁盤、文件系統等)、各個構成部件的測定周期、采集的數據的種類等非常多樣。因此，為了對在各自不同的服務器中采集的數據進行準確分析，針對所采集的原始數據的預處理工作是必需的。

【現有技術文獻】

【專利文獻】

第2012-0179658號美國公開專利公報(2012.07.12.)

第2010-0257145號美國公開專利公報(2010.10.07.)

發明內容

本發明的實施例旨在提供一種針對從由多種規格(specification)構成的服務器獲得的數據的有效的預處理手段。

根據本發明的一方面，提供了一種數據預處理裝置，包括：風險度分析單元，利用對象系統的故障歷史信息及所述對象系統的特性信息來計算所述對象系統的故障風險度；采集周期設定單元，根據計算出的所述故障風險度，確定從所述對象系統采集數據的數據采集周期；預處理單元，根據所述數據采集周期，對從所述對象系統采集的數據執行預處理。

所述風險度分析單元可基于所述故障歷史信息來生成包括回歸分析模型、機器學習模型或者基于規則的模型中的一種以上的風險度分析模型，并將所述對象系統的特性信息或者所述對象系統的狀態信息應用到生成的所述風險度分析模型而計算出所述對象系統的故障風險度。

所述采集周期設定單元可以以計算出的所述故障風險度越高所述數據采集周期就越短的方式確定從所述對象系統采集數據的數據采集周期。

所述采集周期設定單元可利用計算出的所述故障風險度及已設定的系統負載時間段信息來確定從所述對象系統采集數據的數據采集周期。

所述采集周期設定單元可將所述系統負載時間段內的數據采集周期設定為短于除所述系統負載時間段外的數據采集周期。

所述數據預處理裝置還可包括：計算區間設定單元，根據所述對象系統的狀態來設定用于所述預處理單元的數據預處理的計算區間(time window)。

所述計算區間設定單元可將所述計算區間設定為，所述對象系統的中央處理器使用率或者輔助存儲裝置使用率越高，所述計算區間就越短。

所述對象系統的特性信息可包括：所述對象系統的硬件規格(specification)、操作系統(Operation System)信息、系統設定信息及正在執行的軟件信息中的一種以上。

所述數據的預處理可包括：從所述對象系統采集的數據的歸一化(normalization)、插值(interpolation)、填補(imputation)、主成分分析(principal component analysis)或者統計分析中的一種以上。

所述對象的系統狀態信息可包括：所述對象系統的中央處理器(CPU)使用率或者輔助存儲裝置使用率中的一種以上。

此外，根據本發明的另一方面，提供了一種數據預處理方法，包括如下步驟：在風險度分析單元中，利用對象系統的故障歷史信息及所述對象系統的特性信息來計算所述對象系統的故障風險度；在采集周期設定單元中，根據計算出的所述故障風險度，確定從所述對象系統采集數據的數據采集周期；在預處理單元中，根據所述數據采集周期，對從所述對象系統采集的數據執行預處理。

分析所述風險度的步驟還可包括如下步驟：可基于所述故障歷史信息來生成包括回歸分析模型、機器學習模型或者基于規則的模型中的一種以上的風險度分析模型；將所述對象系統的特性信息或者所述對象系統的狀態信息應用到生成的所述風險度分析模型而計算出所述對象系統的故障風險度。

在確定所述數據采集周期的步驟中，可以以計算出的所述故障風險度越高所述數據采集周期就越短的方式確定從所述對象系統采集數據的數據采集周期。

確定所述數據采集周期的步驟可被構成為，利用計算出的所述故障風險度及已設定的系統負載時間段信息來確定從所述對象系統采集數據的數據采集周期。