[發明專利]一種基于Apache Kylin的數據查詢系統及其方法

有效

• 申請號: 201611005883.0
• 申請日: 2016-11-15
• 公開（公告）號: CN106599052B
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 韓卿;李楊
• 申請（專利權）人: 上海跬智信息技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2453
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 楊立

1.一種基于Apache Kylin的數據查詢方法，其特征在于，該方法包括如下步驟：

S1，從數據源模塊中讀取多張關系表，元數據模塊根據定義將數據源模塊中讀取的多張關系表構成一個數據模型；

S2，根據S1中構成的數據模型中多張關系表經過復合離線引擎模塊連接，將連接的結果保存為一張數據表，將該數據表依據元數據模塊中定義的排序列編號進行排序；

S3，將S2中排序后的數據表保存為分片存儲結構數據，以及為排序后的數據表計算多路復合索引；

S4，解析SQL查詢，然后判斷所述SQL查詢屬于明細查詢或聚合查詢，若是明細查詢，則讀取S3中的分片存儲結構數據及多路復合索引數據，獲得結果；若是聚合查詢，則讀取Kylin Cube存儲索引模塊的數據，獲得結果。

2.根據權利要求1所述的一種基于Apache Kylin的數據查詢方法，其特征在于，所述的S3中分片存儲的方式為：將S2中數據表中所有記錄被均勻的分配到多個分片中，分片的數目由元數據模塊控制，每個分片獨立存儲為一個文件，其中的所有記錄先按行分組，組內的記錄按列存儲，每一列上再分頁，每頁的記錄數由元數據模塊控制。

3.根據權利要求2所述的一種基于Apache Kylin的數據查詢方法，其特征在于，將所述的S3中為排序后的數據表,計算多路復合索引的步驟為：

S31，在元數據中，將每個需要計算的索引定義為一個函數F(C1,C2,..,Cm)，其中C1,C2,…Cm是關系表上的列，函數至少1個，記為F集合；

S32，對S31中的F集合中的每一個函數Fi，計算函數Fi每一行為Fi(C1,C2,..,Cm)，將計算Fi(C1,C2,..,Cm)的結果與該行所在的頁號建立倒排索引,得到頁編碼。

4.根據權利要求3所述的一種基于Apache Kylin的數據查詢方法，其特征在于，所述的S4步驟包括：

S41，解析SQL查詢，然后判斷所述SQL查詢屬于明細查詢或聚合查詢，若判斷該查詢屬于明細查詢，則讀取S3中的分片存儲結構數據及多路復合索引數據；

S42，變換S41中的SQL查詢中查詢條件統一為函數比常數形態；

S43，根據元數據，判定變換后查詢條件是否為預計算索引，即查詢條件轉化的函數是否屬于F集合，若查詢條件轉化的函數不屬于F集合，則需要進行在線計算，無法再利用預計算的索引；

S44，對S3中的每一個分片查詢索引得到符合條件的頁編號集合；

S45，根據S44得到的頁編號集合，并行掃描每一列存儲中的指定頁，依據頁編號倒排索引到頁地址，直接尋址讀取記錄；

S46，過濾S45中頁內每一行數據，得到查詢結果；

S47，匯總每一分片的查詢結果，得到SQL最終的查詢結果。