[發明專利]支持海量數據分組統計的智能索引構建、查詢及維護方法

有效

• 申請號: 201511001092.6
• 申請日: 2015-12-28
• 公開（公告）號: CN105631003B
• 公開（公告）日: 2019-02-22
• 發明（設計）人: 李斌斌;周游
• 申請（專利權）人: 北京賽思信安技術股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/245
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 祗志潔

1.一種支持海量數據分組統計的智能索引構建、查詢及維護方法，其特征在于，通過如下四方面實現：

第一步驟，建立智能索引的數據組織結構；

智能索引的數據組織結構包括索引元數據和索引數據；

索引元數據是創建索引的依據，包括分組列簇和統計列簇；分組列簇采用二維表存儲，存儲信息包括分組字段名稱、分組字段類型和分組方式；統計列簇采用二維表存儲，存儲信息包括統計字段名稱、統計字段類型和統計方式；分組字段類型和統計字段類型均包括整型、字符型和時間類型，分組方式包括區間、等值和哈希，統計方式包括聚合、平均值、最大值、最小值、方差和求和；

索引數據是對原始數據構建的索引，一個原始數據塊對應一個索引數據塊，每個索引數據塊包括分組數值區和統計數值區兩部分；分組數值區由字典組成，一個字典對應一個分組字段，每個字典包括分組字段值及應用的位置ID，分組字段值和位置ID均使用有序鏈表存儲；統計數值區根據位置ID分段按行存儲，每個段按位置ID排序，使用有序鏈表存儲；

第二步驟，在寫入數據時在內存中實時創建智能索引；

根據索引元數據確定分組字段和統計字段，對每條原始記錄在內存中計算，包括對分組字段按分組方式計算和對統計字段按統計方式計算，更新分組數值區鏈表和統計數值區鏈表，將索引數據持久化到磁盤；具體實現步驟為：

步驟201：讀取索引元數據，并初始化索引數據存儲結構；

步驟202：判斷索引數據是否能持久化到磁盤上，如果要持久化到磁盤，則轉到步驟206，否則轉到步驟203；索引數據能持久化到磁盤上的判斷標準為索引數據所對應的原始數據塊已經被穩定寫入磁盤；

步驟203：讀取下一條原始數據；

步驟204：根據分組方式，計算每個分組字段的分組值，并更新到分組數值區鏈表中，并按分組字段值進行排序，保持鏈表有序；

步驟205：根據統計方式，計算每個統計字段的統計值，并更新到統計數值區鏈表中，并按數值進行排序，保持鏈表有序，轉到步驟202；

步驟206：將統計數值區鏈表寫入文件中，并按鏈表ID分段，每個段生成一個文件；

步驟207：將分組數值區鏈表寫入文件中，并按分組字段分成不同字典鏈表，每個字典生成一個文件；

第三步驟，利用智能索引進行分組統計的操作；

通過判定器判斷本次統計是否能使用智能索引，當能使用時，通過執行器讀取索引數據，通過匯聚器對分組值進行匯聚計算；利用智能索引進行分組統計的操作，實現過程為：

輸入需要進行查詢的數據塊和查詢語法樹，然后執行：

步驟301：讀取索引元數據；

步驟302：解析查詢語法樹；

步驟303：判斷是否能使用智能索引，如果能執行步驟304，否則退出；能使用智能索引的標準是：本次查詢中的分組字段必須包含在索引元數據中分組字段中，且分組類型一致；本次查詢中的統計字段必須包含在索引元數據中的統計字段中，且統計類型一致；

步驟304：將分組字段對應的字典文件一次讀入到內存中；

步驟305：依次遍歷字典文件的分組字段值；

步驟306：提取每個分組字段值對應的位置ID的鏈表；

步驟307：根據位置ID鏈表，將對應的段文件讀取到內存中；

步驟308：對每個位置ID鏈表對應的統計值按統計列分別進行匯聚計算；

步驟309：合并分組結果；

第四步驟，實現對智能索引的刪除操作；

預設原始數據與索引數據物理存儲規則，根據待刪除的原始數據塊存儲路徑，來構造索引數據存儲路徑，將建立的索引數據刪除。

2.根據權利要求1所述的支持海量數據分組統計的智能索引構建、查詢及維護方法，其特征在于，所述的實現對智能索引的刪除操作，實現步驟為：

步驟401：預設原始數據與索引數據物理存儲規則；

步驟402：獲取待刪除的原始數據塊存儲路徑，根據原始數據存儲路徑構造索引數據存儲路徑；

步驟403：判斷是否已經建立了索引數據，如果已經建立則執行步驟404，否則退出；

步驟404：判斷索引數據是否正在被讀，沒有被讀，則執行步驟405，否則退出；

步驟405：將索引數據塊刪除。