[發明專利]一種數據中心智慧數據平臺及其實現方法

在審

• 申請號: 201810504001.8
• 申請日: 2018-05-23
• 公開（公告）號: CN108809701A
• 公開（公告）日: 2018-11-13
• 發明（設計）人: 李俊山
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26;H04L29/06;H04L29/08
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 李修杰

本申請公開了本申請提供一種數據中心智慧數據平臺及其實現方法，該數據中心智慧數據平臺包括數據源、前端數據分發處理接口模塊、數據清洗模塊、數據倉庫模塊、數據分析模塊和數據展示模塊。通過本申請中的平臺及其實現方法，能夠有效接收來自不同數據源的各種監控數據，避免分布式處理方法中對大量不同屬性的數據進行檢索的過程，從而大大提高數據存取的效率以及保證數據中心運行的穩定性。

技術領域

本申請涉及數據中心技術領域，特別是涉及一種數據中心智慧數據平臺及其實現方法。

背景技術

MDC(Module Data Center，模塊化數據中心)是基于云計算的新一代數據中心部署形式。模塊化數據中心處理數據具有如下特點：存量業務大，業務場景多，業務場景不同，數據形式和格式多種多樣；用戶量，數據量大，通常數據中心用戶的數量能達到億級，數量達TB級別；原始數據信息查詢要求高；查找數據的成本隨著數據的增加，越來越大。因此，對MDC內部異構數據的訪問，是一種較大數據量和高并發訪問性質的實時性應用。隨著數據中心的發展，MDC內部異構數據的讀取是個重要問題。

目前，MDC內部通常采用分布式處理方法進行異構數據的存取。具體地，數據中心的數據由各個異構系統提供，為讀取數據中心內部的數據，需要針對不用的異構系統采用不同的方法進行數據采集和讀取。例如：最基本的動環數據，多采用串口接口Modbus協議、和電總協議等循環同步的方式讀取；IT系統監控數據多采用網絡接口SNMP、WMI、Telnet/SSH、JDBC/ODBC、JMX和TCP/IP等多種管理協議獲取數據；第三方系統集成數據，一般采用網絡集成接口OPC、SNMP、JDBC/ODBC和自定義TCP/IP等集成協議獲取數據。

然而，目前的分布式處理方法中，為了讀取一個數據，需要進行大量的不同屬性的數據之間的檢索，對海量的異構數據流進行處理，使得數據存取的實時性不夠高，從而導致數據存取效率低。

發明內容

本申請提供了一種數據中心智慧數據平臺及其實現方法，以解決現有技術中數據中心分布式處理方法使得數據存取的實時性不夠高、數據存取效率低的問題。

為了解決上述技術問題，本申請實施例公開了如下技術方案：

一種數據中心智慧數據平臺，所述平臺包括：數據源、前端數據分發處理接口模塊、數據清洗模塊、數據倉庫模塊、數據分析模塊和數據展示模塊；

所述數據源，用于提供數據中心的監控數據，所述監控數據包括Zabbix數據、動力與環境監控系統所采集的數據以及日志信息；

所述前端數據分發處理接口模塊，用于采用主動輪詢和被動輪詢相結合的方式融合不同的數據源；

所述數據清洗模塊，用于對所述監控數據進行檢測；

所述數據倉庫模塊，用于對所述監控數據進行存儲；

所述數據分析模塊，用于對所述監控數據進行分析；

所述數據展示模塊，用于利用API接口對實時監控數據、監控參數及檢測、存儲和分析處理后的監控數據進行三維可視化顯示。

可選地，所述數據清洗模塊包括異常檢測單元和數據抽取及轉換單元；

所述異常檢測單元，用于利用公式y＝(x-mean)/std對監控數據進行異常檢測，其中，x為當前要檢測的監控數據，mean為當前監控數據相鄰的前五個監控數據的平均值，std為均方差，當y大于設定閾值大時，判定當前監控數據為異常值，進行異常報警，同時更新平均值和均方差；

所述數據抽取及轉換單元，用于對檢測合格的監控數據進行單條數據抽取及單條數據轉換。

可選地，所述數據倉庫模塊包括Map/Reduce處理單元和存儲單元；