[發明專利]一種數據查詢的方法、裝置及計算機存儲介質

在審

• 申請號: 201811182392.2
• 申請日: 2018-10-11
• 公開（公告）號: CN109271413A
• 公開（公告）日: 2019-01-25
• 發明（設計）人: 王波濤;岳春成
• 申請（專利權）人: 江蘇易潤信息技術有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/27
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 何浩

本發明提供了一種數據查詢的方法、裝置及計算機存儲介質，用于提高數據查詢的效率，該方法應用于基于HBase的數據查詢，包括以下步驟：基于HBase獲取與接收到的數據查詢指令中包含的數據屬性相同的至少一個Rowkey集合；針對至少一個Rowkey集合中的每個Rowkey集合，確定Rowkey集合中包含的相同元素；所述相同元素作為與數據查詢指令對應的數據。

技術領域

本發明涉及數據處理的技術領域，特別涉及一種數據查詢的方法、裝置及計算機存儲介質。

背景技術

在現有的數據處理過程中，大多對Hadoop的應用進行介紹，但是Hadoop常用于批量的數據處理，具有較大的延遲，并且在任務提交和調度時都有較大的開銷，大多數系統都是通過周期性抽樣獲取數據的方式存入Hadoop管理的分布式文件系統中，并借助Hive對大量數據進行存儲、查詢和數據分析的工作，然而，Hive并不能實現低延遲、快速的查詢。

電子商務場景中，按照數據庫設計的實體屬性關系，商品類型和擴展屬性是一對多的關系，即一個商品類型會對應多個擴展屬性。商品和擴展屬性通常是一對多的關系，即一個商品會對應多個擴展屬性，一個擴展屬性又會對應多個商品。又對于某一類型的商品，其擴展屬性基本是固定的。因此為了網絡傳輸以及修改方便，通過數據字典的方式，對擴展屬性以枚舉的方式存儲。

圖1為傳統實現方式的數據查詢流程圖。首先獲取到擴展參數列表valList，并計算擴展參數值的數量n，之后就需要進行全表掃描，遍歷擴展參數表中所有擴展參數值，并判斷該值是否屬于valList，如果屬于則記錄該行數據，之后判斷該行是否是最后一行，如果是，則對記錄數據進行分組，并按商品標識統計匹配的擴展參數的數目，之后判斷數據行匹配數目是否為擴展參數值數量n。如果是，則將商品指標存入過濾商品列表，并根據用戶需要獲得所需要的相關信息，最后和商品表進行連接運算，得到查詢結果，查詢結束。

但是，隨著數據規模的擴展，這種表設計方式會使得查詢時間呈指數增長，并且由于存在表連接的運算，很難通過分表來解決數據量增長過快的場景。

發明內容

本發明實施例提出了一種數據查詢方法、裝置以及計算機存儲解釋，提升數據查詢效率，更好的滿足用戶的需求。

一種數據查詢的方法，應用于基于HBase的數據查詢，包括以下步驟：基于HBase獲取與接收到的數據查詢指令中包含的數據屬性相同的至少一個Rowkey集合；針對至少一個Rowkey集合中的每個Rowkey集合，確定Rowkey集合中包含的相同元素；所述相同元素作為與數據查詢指令對應的數據。

針對至少一個Rowkey集合中的每個Rowkey集合，確定Rowkey集合中包含的相同元素，包括：針對至少一個Rowkey集合中的每個Rowkey集合，對所述Rowkey集合中的所有元素進行遍歷，按照取交集的方式，確定全部Rowkey集合中包含的相同元素。

針對至少一個Rowkey集合中的每個Rowkey集合，確定Rowkey集合中包含的相同元素，包括：針對至少一個Rowkey集合中的每個Rowkey集合，將所述Rowkey集合中的元素按照設定順序進行排序；針對排序后的Rowkey集合，按照取交集的方式，確定全部排序后的Rowkey集合中包含的相同元素。

針對至少一個Rowkey集合中的每個Rowkey集合，確定Rowkey集合中包含的相同元素，包括：針對至少一個Rowkey集合中的每個Rowkey集合，對所述Rowkey集合進行哈希分組；針對哈希分組后的Rowkey集合中的元素按照設定順序進行排序；針對排序后的Rowkey集合，按照取交集的方式，確定全部排序后的Rowkey集合中包含的相同元素。

所述相同元素作為與數據查詢指令對應的數據，包括：將所述相同元素作為結果集合，所述結果集合是與數據查詢指令對應的數據。