[發明專利]用于海量數據管理的數據處理方法和系統

有效

• 申請號: 201110217035.7
• 申請日: 2011-07-29
• 公開（公告）號: CN102332004A
• 公開（公告）日: 2012-01-25
• 發明（設計）人: 吳廣君;王樹鵬;云曉春;張永錚;王明華
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

1.一種用于海量數據管理的數據處理方法，其特征在于，包括：

A，設置多個數據加載裝置的步驟，通過二維表結構管理不同類型的字段創建不同類型的索引，并以并發方式向通過網絡連接的至少一個數據存儲服務器加載索引數據源，實現數據加載與維護操作；

B，設置元數據管理裝置的步驟，用于記錄由所述數據加載裝置生成的索引分片的分布信息，記錄并更新所述數據存儲服務器的狀態信息，以及記錄所述索引分片與所述數據存儲服務器的對應關系；

C，在所述數據存儲服務器上設置數據管理服務裝置的步驟，用于存儲、管理所述索引分片，并根據檢索命令并發檢索索引分片，并向所述元數據管理裝置報告工作狀態。

2.根據權利要求1所述數據處理方法，其特征在于，還包括：設置多個數據檢索裝置的步驟，用于實現多機協同、多層次、不同粒度的數據并發檢索。

3.根據權利要求1所述數據處理方法，其特征在于，還包括：所述索引分片由所述數據加載裝置獨立生成，構成進行調度、負載均衡和并發檢索的基本單元。

4.根據權利要求3所述數據處理方法，其特征在于，還包括：所述索引分片之間根據時間順序排序；所述索引分片內部根據字典序排序。

5.根據權利要求2所述數據處理方法，其特征在于，所述數據檢索裝置至少設置二個層次數據過濾機制，和/或二個層次數據匯總機制。

6.根據權利要求5所述數據處理方法，其特征在于，所述二個層次數據過濾機制，包括：

第一級過濾機制是根據檢索命令，通過所述元數據管理裝置過濾特定的數據存儲服務器列表，并發地向過濾后的檢索服務器發送檢索命令；

第二級過濾機制是所述數據存儲服務器根據檢索命令，過濾本地索引分片，符合條件的索引分片并發的執行檢索操作。

7.根據權利要求5所述數據處理方法，其特征在于，所述二個層次數據匯總機制，包括：

所述數據存儲服務器匯總多個索引分片的并發檢索后結果；

所述數據檢索裝置匯總多個所述數據存儲服務器返回的初次匯總結果。

8.一種用于海量數據管理的數據處理系統，采用所述權利要求1至7中任意一種的數據處理方法，其特征在于，包括：

多個數據加載裝置通過二維表結構，為不同類型的字段創建不同類型的索引，并通過網絡連接的至少一個數據存儲服務器加載索引數據源，實現數據加載與維護操作；

元數據管理裝置，用于記錄由所述數據加載裝置生成的索引分片的分布信息，記錄并更新所述數據存儲服務器的狀態信息，以及記錄所述索引分片與所述數據存儲服務器的對應關系；

數據存儲服務器，還包括數據管理服務裝置，用于存儲、管理所述索引分片，并根據檢索命令并發索引分片，并向所述元數據管理裝置報告工作狀態。

9.根據權利要求8所述數據處理系統，其特征在于，還包括：多個數據檢索裝置，用于實現多機協同、多層次、不同粒度的數據并發檢索。

10.根據權利要求9所述數據處理系統，其特征在于，當有新的數據存儲服務器加入時，所述數據管理服務裝置向所述元數據管理裝置報告狀態變更信息，所述元數據管理裝置把新的數據存儲服務器加入到可用服務器列表中，并開始接下來的存儲調度和定期心跳機制檢查中。