[發明專利]基于行鍵鹽值的數據查詢方法、裝置、設備及存儲介質

在審

• 申請號: 202010727785.8
• 申請日: 2020-07-23
• 公開（公告）號: CN111858659A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 李慎剛
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/2455
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 劉挽瀾

本發明涉及大數據技術領域，公開了一種基于行鍵鹽值的數據查詢方法、裝置、設備及存儲介質，用于解決數據熱點問題、降低資源占用率，從而提升查詢性能。基于行鍵鹽值的數據查詢方法包括：獲取數據庫中的表數據和多個數據行鍵；統計數據分區數量，獲取多個目標鹽值，根據多個目標鹽值和多個數據行鍵，獲取多個鹽值數據行鍵；確定多個目標數據分區；根據數據查詢請求獲取數據起始鍵和數據終止鍵；將數據起始鍵至數據終止鍵中的對應多個鹽值數據行鍵進行封裝為鹽值數據行鍵封裝列表；根據目標終端的數據查詢請求確定目標鹽值數據行鍵，并將目標鹽值數據行鍵傳輸至目標終端。此外，本發明還涉及區塊鏈技術，目標鹽值數據行鍵可存儲于區塊鏈節點中。

技術領域

本發明涉及大數據技術領域，尤其涉及一種基于行鍵鹽值的數據查詢方法、裝置、設備及存儲介質。

背景技術

Hbase是一個分布式的、面向列的開源數據庫是一個分布式的和可擴展的大數據倉庫，HBase能夠融合key/value存儲模式帶來實時查詢的能力，以及通過MapReduce進行離線處理或者批處理的能力，Hbase能夠在大量的數據中快速查詢記錄，也可以從中獲得綜合分析報告。Presto是一個分布式的查詢引擎，基于內存進行計算，本身并不存儲數據，但是可以接入多種數據源，并且支持跨數據源的級聯查詢數據查詢引擎。

在現有技術中，通常基于Hbase和Presto查詢數據，但是當數據達到億級別或以上時，數據會出現熱點問題，資源占用率較高且計算效率較低，從而導致開源Presto HBase的查詢性能下降。

發明內容

本發明的主要目的在于解決現有技術在查詢數據時，計算效率低、資源占用率高導致的查詢性能差的問題。

本發明第一方面提供了一種基于行鍵鹽值的數據查詢方法，包括：獲取數據庫中的表數據，并從所述表數據中讀取多個數據行鍵，所述表數據包括多個數據分區；統計所述多個數據分區的數量，得到數據分區數量，根據所述數據分區數量獲取多個目標鹽值，并根據所述多個目標鹽值和所述多個數據行鍵，獲取多個鹽值數據行鍵；根據所述多個鹽值數據行鍵和所述多個數據分區，確定多個目標數據分區；獲取目標終端的數據查詢請求，并在所述多個目標數據分區中，根據所述數據查詢請求和所述多個鹽值數據行鍵，確定起始鹽值數據行鍵對應的數據起始鍵和終止鹽值數據行鍵對應的數據終止鍵；將所述數據起始鍵至所述數據終止鍵中對應的多個鹽值數據行鍵進行封裝，得到鹽值數據行鍵封裝列表，所述鹽值數據行鍵封裝列表包括所述數據起始鍵對應的起始鹽值數據行鍵和所述數據終止鍵對應的終止鹽值數據行鍵；根據所述目標終端的數據查詢請求在所述鹽值數據行鍵封裝列表中確定目標鹽值數據行鍵，并將所述目標鹽值數據行鍵傳輸至目標終端。

可選的，在本發明第一方面的第一種實現方式中，所述統計所述多個數據分區的數量，得到數據分區數量，根據所述數據分區數量獲取多個目標鹽值，并根據所述多個目標鹽值和所述多個數據行鍵，獲取多個鹽值數據行鍵包括：統計所述多個數據分區的數量，得到數據分區數量；根據所述數據分區數量設置鹽值范圍，得到多個鹽值選值，鹽值選值數量與所述數據分區數量相同，每個鹽值選值對應多個初始鹽值；為多個初始鹽值設置分隔符，得到多個目標鹽值；采用隨機數算法將所述多個目標鹽值隨機設置到所述多個數據行鍵的前綴位置，得到多個鹽值數據行鍵。

可選的，在本發明第一方面的第二種實現方式中，所述根據所述多個鹽值數據行鍵和所述多個數據分區，確定多個目標數據分區包括：依次讀取所述多個鹽值數據行鍵中對應的目標鹽值，得到多個目標行鍵鹽值；基于所述多個目標行鍵鹽值對所述多個鹽值數據行鍵進行分類，得到多個鹽值數據行鍵類別；將所述多個鹽值數據行鍵類別分配到對應的數據分區中，得到多個目標數據分區。