[發明專利]支持高速加載的海量結構化數據存儲、查詢方法和系統

有效

• 申請號: 201110441775.9
• 申請日: 2011-12-26
• 公開（公告）號: CN102521405A
• 公開（公告）日: 2012-06-27
• 發明（設計）人: 吳廣君;李超;王樹鵬;云曉春;王勇;李斌斌
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種海量結構化數據的分布式存儲方法，包括：

步驟1，從用戶端接收高速加載的數據；以及

步驟2，利用雙滑動窗口結構，將加載的數據進行分布式緩存，并在固定周期之后將緩存的數據進行分布式存儲。

2.如權利要求1所述的分布式存儲方法，其中該雙滑動窗口結構包括數據寫入窗口和數據查詢窗口，該數據寫入窗口接收實時加載的數據，并修改相關的系統元數據信息；該數據查詢窗口接收查詢子任務，并根據建立的元數據記錄信息直接查詢本窗口的數據。

3.一種基于權利要求1或2所述的分布式存儲方法的海量結構化數據的分布式查詢方法，包括：

步驟1，接收用戶發出的查詢任務并將查詢任務分解為多個查詢子任務；以及

步驟2，根據該多個查詢子任務，對分布式緩存的各組數據并發執行分批次查詢，并分布式返回查詢到的結果集。

4.如權利要求3所述的分布式查詢方法，還包括：步驟3，對分布式返回的結果集進行匯總，并將匯總后的結果集呈現給用戶。

5.如權利要求3或4所述的分布式查詢方法，其中步驟1包括根據分區類查詢條件、過濾類查詢條件或全局統計分析類查詢條件將查詢任務分解為多個查詢子任務。

6.如權利要求5所述的分布式查詢方法，其中根據分布式存儲的數據的索引類型設置分區類查詢條件。

7.如權利要求6所述的分布式查詢方法，其中根據以時間屬性建立的索引，以時間屬性設置該分區類查詢條件。

8.如權利要求5所述的分布式查詢方法，其中對分布式緩存的各組數據并發執行分批次查詢包括針對分布式緩存的每組數據執行下列步驟：

步驟211，為查詢分布式緩存數據的操作設置單次最大返回記錄數目；

步驟212，根據查詢子任務對緩存的數據進行查詢，并且基于該單次最大返回記錄數目，獲得結果集；

步驟213，判斷該結果集中的記錄數目是否達到單次最大返回記錄數目，如果未達到單次最大返回記錄數目，則執行步驟215，如果達到單次最大返回記錄數目，則由用戶確定是否繼續進行查詢，如果需要繼續查詢即為多次查詢，則執行步驟214，否則為單次查詢，執行步驟215；

步驟214，保存當前的查詢狀態并基于該查詢狀態繼續進行查詢，直到獲得包括符合查詢條件的所有記錄的結果集；以及

步驟215，將查詢到的結果集返回。

9.如權利要求8所述的分布式查詢方法，其中步驟212包括通過分區類查詢條件獲得目標索引分片，在每個索引分片上并發執行過濾類查詢條件，以獲得結果集。

10.如權利要求9所述的分布式查詢方法，其中步驟212還包括：在獲得結果集之后，執行全局統計、分析類查詢條件。

11.如權利要求10所述的分布式查詢方法，其中執行全局統計、分析類查詢條件包括：根據查詢子任務中的分組命令，利用hash算法進行數據集快速分組操作。

12.如權利要求10所述的分布式查詢方法，其中執行全局統計、分析類查詢條件還包括：根據查詢子任務中的去重命令進行組內去重或全局去重。

13.如權利要求10所述的分布式查詢方法，其中執行全局統計、分析類查詢條件包括根據統計函數SUM、COUNT、AVG、MAX、MIN對查詢結果計算統計結果，其中SUM是對分組后的字段計算具體數值，COUNT是統計記錄條數，AVG是計算平均值，MAX是查詢到的所有記錄中的最大值，MIN是查詢到的所有記錄中的最小值。

14.如權利要求8所述的分布式查詢方法，其中步驟212包括：當查詢到的符合查詢條件的記錄數目達到該單次最大返回記錄數目時獲得結果集，或者雖然查詢到的符合查詢條件的記錄未達到該單次最大返回記錄數目但已經完成了對所有存儲數據的查詢時獲得的結果集。

15.如權利要求8所述的分布式查詢方法，其中步驟213包括：當該結果集中的記錄數目等于單次最大返回記錄數目時，將“未全面查詢”的標記返回給用戶，用戶基于該標記根據實際需要確定是否繼續查詢。

16.如權利要求8所述的分布式查詢方法，其中步驟214包括：為每個查詢子任務提供一個與其相關的標識符，并且根據該標識符保存當前的查詢狀態。