[發明專利]一種基于Storm的分布式流數據存儲與查詢方法

有效

• 申請號: 201910026601.2
• 申請日: 2019-01-11
• 公開（公告）號: CN109726225B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 蔡瑞初;林峰極;郝志峰;王立;黃澤林;陳炳豐;溫雯;王麗娟
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/22;G06F16/182
• 代理公司: 廣州市紅荔專利代理有限公司 44214
• 代理人: 吳偉文

1.一種基于Storm的分布式流數據存儲與查詢方法，其特征在于：通過在接收分布式流數據時實時建立若干隔離范圍的B+Tree索引，達到閾值后存儲到分布式文件系統，并在查詢時進行查詢分解，并行處理不同范圍下的子查詢，保持負載均衡，完成后合并返回實時存儲結果，實現高吞吐量的流數據插入和查詢，具體包括以下步驟：

S1)、接收源數據并分發給下游單元構建索引結構；

S2)、將索引結構壓縮為數據塊并寫入分布式文件存儲系統CEPHFS；

S3)、基于查詢條件和數據塊信息將查詢分解為若干獨立的子查詢；

S4)、通過訪問分布式文件存儲系統CEPHFS分發給下游獨立的查詢處理單元的子查詢；具體包括以下步驟：

S401)、子查詢服務器Subquery?Server并行讀取分布式文件存儲系統CephFs中與子查詢對應的數據塊，先讀取數據塊中索引結構的模板部分，得到葉節點對于所有葉節點的相對offset和分組壓縮后的offset，計算得到可能包含目標key范圍的一系列葉子節點offset；

S402)、基于offset讀取數據塊文件中索引結構的葉節點部分，通過Snappy算法解壓得到的葉節點分組數據塊字節，反序列化為葉節點，并做時間范圍和等值條件上的過濾；

S403)、對過濾后的一系列數據元祖進行aggregate操作，序列化后發送到查詢調度器query?dispatcher；

S5)、接收返回的子查詢結果并合并返回給用戶。

2.根據權利要求1所述的一種基于Storm的分布式流數據存儲與查詢方法，其特征在于：步驟S1)中，流數據存儲系統接收的每個源數據為數據元祖，定義為d＝{d_k,d_t,d_r}，其中，d_k是元祖的主鍵，d_t是時間屬性，d_r是元祖的其他屬性值，K和T定義了一個主鍵和時間域的二維空間D＝(K,T)；主鍵范圍固定，時間范圍不斷增加，主鍵K區間表示為K(k-,k+)，時間域T區間表示為T(t-,t+)，根據兩個區間建立唯一的矩形r≤K，T≥{(k,t)∈R|k∈K,t∈T}。

3.根據權利要求2所述的一種基于Storm的分布式流數據存儲與查詢方法，其特征在于：將矩形r≤K,T≥{(k,t)∈R|k∈K,t∈T}范圍內的數據元組寫入唯一對應的模板B+Tree中，key作為索引，內存中達到閾值chunkSize大小的模板B+Tree以chunk形式存儲到分布式文件系統，chunk由key數組和數據數組組成，key數組存儲順序的key值，包括一個指向數據數組的偏移量。

4.根據權利要求3所述的一種基于Storm的分布式流數據存儲與查詢方法，其特征在于：基于二維空間D＝(K,T)，流數據存儲系統的查詢條件定義為一個三元組q＝{K_q,T_q,f_q}，K_q,T_q是在主鍵和時間域上的條件選擇范圍，查詢區間切分為一個r≤K,T≥{(k,t)∈R|k∈K_q,t∈T_q},f_q:t-＞{true,false}是用戶自定義的條件過濾函數，用來判斷是否滿足用戶的選擇。