[發明專利]數據存儲表的查詢方法、分區服務器及電子設備

在審

• 申請號: 201811058605.0
• 申請日: 2018-09-11
• 公開（公告）號: CN110888870A
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 劉亞龍
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/245
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 劉延喜

本申請提供了一種數據存儲表的查詢方法、分區服務器及電子設備。該方法包括：接收客戶端發送的查詢請求，并根據查詢請求確定查詢條件及對應的查詢類型；當查詢類型為索引類型時，查詢條件與列值相關，根據查詢條件查詢索引數據子表，以得到對應的行鍵；根據行鍵查詢源數據子表，以得到查詢結果并返回客戶端。本申請通過一個數據存儲表來存儲索引數據和源數據，便于數據讀寫、數據遷移等情況下的數據管理，保證數據的一致性不被破壞，在查詢數據時，在索引數據子表中可以快速查詢到行鍵，并可以通過行鍵在源數據子表快速得到查詢結果，有效提高數據的可靠性。

技術領域

本申請涉及數據處理技術領域，具體而言，本申請涉及一種數據存儲表的數據寫入方法、分區服務器及電子設備。

背景技術

伴隨互聯網信息技術的高速發展及深層次應用，數據的存儲量呈現爆炸式增長，云計算與分布式系統成為了大數據量處理的主要趨勢。其中，分布式數據庫為結構化的大數據提供了高性能、高可靠性、易擴展的讀寫功能，在大型互聯網公司中得到了廣泛的應用，包括現常用來存儲海量數據的HBase數據庫等。

實際應用中，如圖1所示，HBase的數據表是rowkey(行鍵)有序的，通過rowkey可以很快的定位到數據，這稱之為“一級索引”?，F有技術中，還可以采用社區開源的phoenix實現針對列的“二級索引”，如圖2所示，其方案是通過在HBase數據表的基礎上構建另一張對應的HBase表(圖2中以col2列為例)，索引列的value(列值)和原rowkey被反向插入新構建的HBase表中，使得索引列有序，從而能夠根據索引列快速查詢rowkey，以便在圖1中通過rowkey快速定位到數據。

但是，這種方式的二級索引的實現有一個顯而易見的缺點：需要在原HBase數據表的基礎上多出一張索引HBase表，這導致了讀寫時操作這兩張表格的難度加大，索引數據和原數據的一致性很難得到保障。并且即使能在讀寫時準確操作這兩張表格，也很難避免遷移等外部操作會破壞其原有的對照依賴關系。

發明內容

為克服上述技術問題或者至少部分地解決上述技術問題，特提出以下技術方案：

第一方面，本申請提供了一種數據存儲表的查詢方法，所述數據存儲表包括按列值排序的索引數據子表及相對應的按行鍵排序的源數據子表，該方法包括：

接收客戶端發送的查詢請求，并根據查詢請求確定查詢條件及對應的查詢類型；

當查詢類型為索引類型時，查詢條件與列值相關，根據所述查詢條件查詢所述索引數據子表，以得到對應的行鍵；

根據所述行鍵查詢所述源數據子表，以得到查詢結果并返回客戶端。

在一個可能的實現方式中，所述根據所述查詢條件查詢所述索引數據子表，包括：

根據所述查詢條件，生成索引描述信息；

根據所述索引描述信息，掃描所述索引數據子表。

在一個可能的實現方式中，所述根據所述查詢條件，生成索引描述信息，包括：

確定所述查詢條件中各個列族分別對應的子查詢條件；

確定各個子查詢條件之間的邏輯關系；

根據各個子查詢條件和所述邏輯關系生成索引描述信息。

在一個可能的實現方式中，根據所述索引描述信息，掃描所述索引數據子表，以得到對應的行鍵：包括：

分別根據各個子查詢條件掃描所述索引數據子表，得到各個子查詢條件分別對應的行鍵；

基于所述邏輯關系，根據各個子查詢條件分別對應的行鍵得到所述查詢條件對應的行鍵。