[發(fā)明專利]基于時間旅行和時態(tài)聚合查詢的分布式處理框架系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810494066.9
• 申請日: 2018-05-22
• 公開（公告）號: CN108804556B
• 公開（公告）日: 2020-10-20
• 發(fā)明（設計）人: 姚斌;過敏意;張偉;唐飛龍;陳全;冷靜文
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/27
• 代理公司: 上海市匯業(yè)律師事務所 31325
• 代理人: 唐嘉偉

1.一種基于時間旅行和時態(tài)聚合查詢的分布式處理框架系統(tǒng)，其特征在于，包括分區(qū)單元、局部索引單元和全局索引單元；所述分區(qū)單元負責將所有數(shù)據(jù)分區(qū)到分布式節(jié)點；所述局部索引單元用于管理每個分區(qū)中的時態(tài)數(shù)據(jù)；所述全局索引單元用于管理分區(qū)間隔；所述局部索引單元，采用多版本B樹MVB-Tree索引結構來支持時間旅行查詢，采用SB-Tree索引結構來支持時態(tài)聚合查詢；所述多版本B樹MVB-Tree索引結構在每次對數(shù)據(jù)庫進行更新時生成一個新版本，從而一致性得記錄數(shù)據(jù)庫的更新記錄，因此能查詢數(shù)據(jù)庫的歷史版本；所述SB-Tree索引結構是一種支持時態(tài)數(shù)據(jù)聚集查詢的索引結構，通過在索引內預計算聚集值，避免在查詢時遍歷所有數(shù)據(jù)記錄，提高查詢速度。

2.如權利要求1所述的系統(tǒng)，其特征在于，所述分區(qū)單元負責將所有數(shù)據(jù)分區(qū)到分布式節(jié)點，該分布式節(jié)點包括主節(jié)點和從節(jié)點，其中主節(jié)點負責分布式集群的資源調度和管理，從節(jié)點負責執(zhí)行由主結點分配的任務；保證每個節(jié)點具有大致相同的數(shù)據(jù)大小，以保持負載平衡。

3.如權利要求1或2所述的系統(tǒng)，其特征在于，所述局部索引單元，在每個分區(qū)中，維護局部索引以避免完整掃描；每個分區(qū)為全局索引的構建維護一個分區(qū)間隔，該分區(qū)間隔由一個分區(qū)中所有記錄中時間間隔開始值的最小值和結束值的最大值組成。

4.如權利要求3所述的系統(tǒng)，其特征在于，所述全局索引單元中，主節(jié)點收集從節(jié)點中每個分區(qū)的所有分區(qū)間隔，然后根據(jù)收集的分區(qū)間隔構建全局索引。

5.如權利要求1所述的系統(tǒng)，其特征在于，所述分區(qū)單元采用如下分區(qū)方法：按時間間隔分割時間數(shù)據(jù)，包括如下步驟：

首先按時間間隔對時態(tài)記錄進行排序，獲得排序記錄；將排序后的記錄平均分成幾個部分，即完成分區(qū)。

6.如權利要求1所述的系統(tǒng)，其特征在于，所述全局索引單元，在主節(jié)點中，全局索引被設計為預先修剪查詢不會涉及到的分區(qū)，以避免檢查每個分區(qū)。

7.如權利要求1所述的系統(tǒng)，其特征在于，所述每個分區(qū)間隔能通過起始值和間隔長度進行比較，使用二叉搜索樹來維護分區(qū)的間隔信息；只對分區(qū)使用一個分區(qū)間隔；全局索引中的每個分區(qū)間隔對應于從節(jié)點中的分區(qū)，在查詢處理中，如果一個分區(qū)間隔可以被修剪，則可以安全地修剪相應的分區(qū)；全局索引中的每個節(jié)點都維護一個鍵值對Ip, id，其中Ip和id分別指分區(qū)間隔及其相應的分區(qū)。