[發明專利]一種海量數據分析系統及方法

在審

• 申請號: 201910347462.3
• 申請日: 2019-04-28
• 公開（公告）號: CN110109992A
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 潘鋒
• 申請（專利權）人: 廣州宏算信息科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/21;G06F16/215;G06F16/22;G06F16/245;G06F11/14
• 代理公司: 昆明合眾智信知識產權事務所 53113
• 代理人: 張璽

1.一種海量數據分析系統，包括海量數據采集單元以及海量數據加工處理單元，所述海量數據采集單元的輸出端電連接有海量數據加工處理單元的輸入端，其特征在于，所述海量數據采集單元的輸出端電連接有海量數據加工處理單元內部海量數據獲取模塊的輸入端，所述海量數據獲取模塊的輸出端電連接有海量數據解碼模塊的輸入端，所述海量數據解碼模塊的輸出端電連接有海量數據存儲管理單元的輸入端，所述海量數據存儲管理單元的輸出端電連接有海量數據分析單元的輸入端，所述海量數據分析單元的輸出端電連接有用戶終端的輸入端；

所述海量數據存儲管理單元包括海量數據入庫模塊、海量數據處理模塊、海量數據清除模塊、海量數據控制模塊、海量數據備份與恢復模塊、海量數據遷移與回遷模塊、海量數據接口模塊以及海量數據存儲模塊。

2.根據權利要求1所述的一種海量數據分析系統，其特征在于，所述海量數據采集模塊包括關鍵詞獲取模塊、關鍵詞編碼模塊以及標準化處理模塊，獲取用戶輸入的關鍵詞，根據預設的編碼方式對所述關鍵詞編碼后得到對應的第一數據，以此獲取海量數據，從各類海量數據源收集海量數據到數據處理中心，對所收集的各類海量數據進行格式檢查和標準化處理。

3.根據權利要求1所述的一種海量數據分析系統，其特征在于，所述海量數據分析單元包括海量數據接收模塊、原有數據存儲模塊、海量數據對比模塊以及對比結果發送模塊，將原有數據存于原有數據存儲模塊中，將原有數據存儲模塊中存儲的海量數據以各種方式與用戶之間進行交互，滿足用戶對海量數據的訪問需求。

4.根據權利要求1所述的一種海量數據分析系統，其特征在于，所述數據存儲管理模塊的具體實現方法是：按照統一的海量數據庫對象模型和存儲規范，生成數據庫的存儲管理結構，包括存儲空間、存儲結構和數據目錄。

5.根據權利要求1所述的一種海量數據分析系統，其特征在于，所述海量數據存儲模塊包括在線存儲、近線存儲、離線存儲以及虛擬存儲，所述在線存儲用于海量數據的在線存儲，近線存儲用于數據近線存儲，離線存儲用于在海量數據備份或歸檔后進行存儲，虛擬存儲用于緩解離線所述海量數據備份時的壓力，減小備份時間。

6.根據權利要求5所述的一種海量數據分析系統，其特征在于，所述在線存儲包括4臺磁盤陣列，所述近線存儲包括3臺磁盤陣列，所述離線存儲包括2臺磁帶庫，虛擬存儲包括1臺磁盤陣列。

7.根據權利要求1所述的一種海量數據分析方法，其特征在于，步驟如下：

S1、通過獲取用戶輸入的關鍵詞，根據預設的編碼方式對關鍵詞編碼后得到對應的第一數據，以此獲取海量數據；

S2、從各類海量數據源收集海量數據到數據處理中心，對所收集的各類海量數據進行格式檢查和標準化處理，將獲取的海量信息傳輸到海量數據加工處理單元；

S3、將解碼處理好的海量數據傳輸到海量數據存儲管理單元中，按照統一的海量數據庫對象模型和存儲規范，生成數據庫的存儲管理結構，包括存儲空間、存儲結構和數據目錄；

S4、將步驟S3中整理的數據進行數據存儲，在線存儲用于海量數據的在線存儲，近線存儲用于數據近線存儲，離線存儲用于在海量數據備份或歸檔后進行存儲，虛擬存儲用于緩解離線所述海量數據備份時的壓力；

S5、將存儲后的海量數據通過訪問接口模塊傳輸到海量數據分析單元，將原有數據存儲模塊中存儲的海量數據以各種方式與用戶之間進行交互，滿足用戶對海量數據的訪問需求；

S6、數據分析對比結果通過對比結果發送模塊傳輸給用戶終端。