[發明專利]結合KV存儲引擎和時序存儲引擎查詢OLAP的方法

在審

• 申請號: 202310373047.1
• 申請日: 2023-04-10
• 公開（公告）號: CN116483886A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 張暉;時振宇;魏可偉
• 申請（專利權）人: 上海沄熹科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/2455;G06F16/28;G06F16/22;G06F16/23
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫晶偉

本發明公開結合KV存儲引擎和時序存儲引擎查詢OLAP的方法,涉及分布式數據庫技術領域；根據數據表類型，調用相應存儲引擎存儲數據：若數據表類型是時序表，則調用時序存儲引擎，按照跟隨分區方式將時序表轉發給時序存儲節點；通過時序存儲節點上的時序表維護內存跳表結構，將插入的數據按照時間戳的方式排序，進行數據緩存，將緩存數據追加到分區文件；采用混合查詢方式進行OLAP數據表查詢，包括：掃描讀取數據表，根據過濾條件讀取數據表，以及利用表連接查詢數據表，所述表連接查詢數據表包括普通表與時序表連接方式查詢和時序表連接方式查詢。

技術領域

本發明公開方法,涉及分布式數據庫技術領域，具體地說是結合KV存儲引擎和時序存儲引擎查詢OLAP的方法。

背景技術

在企業數據量日益龐大后，線上交易(OLTP，Online?Transactional?Processing)和后臺分析(OLAP，Online?Analytical?Processing)通常被分割為兩個獨立系統，線上交易的業務數據通過ETL工具抽取出來，導入后臺分析平臺。這個架構中ETL存在復雜性以及維護成本高，并且ETL是一個周期性操作，比如一天或者一個小時導入一次數據，因此無法保證后臺分析的數據具有實時性。

發明內容

本發明針對現有技術的問題，提供結合KV存儲引擎和時序存儲引擎查詢OLAP的方法，直接將在線交易業務的插入/更新數據寫入時序存儲引擎，同時支持普通表和時序表上的實時快速分析查詢，節省維護成本且后臺分析數據能夠保證實時性。

本發明提出的具體方案是：

本發明提供結合KV存儲引擎和時序存儲引擎查詢OLAP的方法，根據數據表類型，調用相應存儲引擎存儲數據：若數據表類型是普通表，則調用KV存儲引擎根據Raft協議將普通表存入RocksDB的節點，

若數據表類型是時序表，則調用時序存儲引擎，按照跟隨分區方式將時序表轉發給時序存儲節點，所述跟隨分區方式指時序表連接方式，所述時序表連接方式為一個時序表的主鍵為另一個時序表的外鍵，根據所述時序表連接方式時序表之間能夠存儲在同一時序存儲節點；

通過時序存儲節點上的時序表維護內存跳表結構，將插入的數據按照時間戳的方式排序，進行數據緩存，將緩存數據追加到分區文件；

采用混合查詢方式進行OLAP數據表查詢，包括：掃描讀取數據表，根據過濾條件讀取數據表，以及利用表連接查詢數據表，

所述表連接查詢數據表包括普通表與時序表連接方式查詢和時序表連接方式查詢。

進一步，所述的結合KV存儲引擎和時序存儲引擎查詢OLAP的方法中所述將緩存數據追加到分區文件，包括：

統計緩存數據各列的最大最小值，

將行存轉換為列存，壓縮當前緩存數據，

將每個時序表對應物理磁盤上的分區文件，所述分區文件包括.data文件和.meta文件，將壓縮后緩存數據作為數據塊Block追加到.data文件的末尾，將各列統計數據和文件的偏移和長度更新到.meta文件。

進一步，所述的結合KV存儲引擎和時序存儲引擎查詢OLAP的方法所述根據過濾條件讀取數據表，包括：根據單表掃描的過濾條件結合.meta文件中數據塊的統計信息，確定需要讀取的數據塊，從時序存儲節點的.data文件中讀取數據，跟緩存數據合并。

進一步，所述的結合KV存儲引擎和時序存儲引擎查詢OLAP的方法所述普通表與時序表連接方式查詢，包括：判斷普通表是否為小表，若普通表是小表，將普通表廣播到各個時序存儲節點構建哈希表，掃描時序表分區作為探測表進行哈希連接，匯總各時序存儲節點的連接結果集，否則利用時序表上的謂詞過濾數據，將時序表數據集返回SQL層構建哈希表，掃描普通表作為探測表。