[發(fā)明專利]數(shù)據(jù)查詢方法、裝置、計算機設(shè)備、存儲介質(zhì)和程序產(chǎn)品

在審

• 申請?zhí)枺?/td>: 202310101413.8
• 申請日: 2023-02-08
• 公開（公告）號: CN116204549A
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計）人: 劉秋艷;周磊;金鈺;沈穎;方俊杰
• 申請（專利權(quán)）人: 興業(yè)銀行股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2453;G06F16/2455
• 代理公司: 華進聯(lián)合專利商標代理有限公司 44224
• 代理人: 姜曉云

本申請涉及一種數(shù)據(jù)查詢方法、裝置、計算機設(shè)備、存儲介質(zhì)和計算機程序產(chǎn)品。所述方法包括：接收查詢條件；根據(jù)所述查詢條件確定待查詢數(shù)據(jù)所在的數(shù)據(jù)庫；當所述待查詢數(shù)據(jù)在第一數(shù)據(jù)庫時，在第二數(shù)據(jù)庫獲取所述查詢條件對應(yīng)的數(shù)據(jù)索引，并基于所述數(shù)據(jù)索引從所述第一數(shù)據(jù)庫獲取到待查詢數(shù)據(jù)；當所述待查詢數(shù)據(jù)在所述第二數(shù)據(jù)庫時，根據(jù)所述查詢條件從所述第二數(shù)據(jù)庫獲取到待查詢數(shù)據(jù)。采用本方法能夠提高查詢效率。

技術(shù)領(lǐng)域

本申請涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)查詢方法、裝置、計算機設(shè)備、存儲介質(zhì)和計算機程序產(chǎn)品。

背景技術(shù)

近幾年來，隨著數(shù)據(jù)搜索的廣泛應(yīng)用，Elasticsearch社區(qū)的活躍程度不斷加大，ElasticSearch得到了很大的發(fā)展空間，其角色定位已經(jīng)不是最初的純搜索引擎了，最初時包括大量的用戶僅僅將其作為日志的搜索引擎。現(xiàn)在Elasticsearch已經(jīng)增加了數(shù)據(jù)聚合分析(aggregation)和可視化的特性，針對其產(chǎn)生的應(yīng)用也會越來越廣泛。

HBase是一個開源的非關(guān)系型分布式數(shù)據(jù)庫，它參考了谷歌的BigTable建模，實現(xiàn)的編程語言為Java。它是Apache軟件基金會的Hadoop項目的一部分，運行于HDFS文件系統(tǒng)之上，為Hadoop提供類似于BigTable規(guī)模的服務(wù)。因此，它可以容錯地存儲海量稀疏的數(shù)據(jù)。HBase是一個高可靠、高性能、面向列、可伸縮的分布式數(shù)據(jù)庫，是谷歌BigTable的開源實現(xiàn)，主要用來存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)。HBase的目標是處理非常龐大的表，可以通過水平擴展的方式，利用廉價計算機集群處理由超過10億行數(shù)據(jù)和數(shù)百萬列元素組成的數(shù)據(jù)表。

傳統(tǒng)技術(shù)中，對于Hbase中的數(shù)據(jù)的查詢，分別是基于rowkey的查詢和基于filter的過濾查詢。然

而這兩種查詢方法都有其局限性，對于rowkey查詢，能快速響應(yīng)查詢請求，查詢條件不夠靈活；而對于filter查詢，目前支持QualifierFilter，RowFilter，ValueFilter等過濾器，其查詢性能不高，尤其是對于全表掃描，隨著數(shù)據(jù)量的增大其查詢效率逐漸降低。

發(fā)明內(nèi)容

基于此，有必要針對上述技術(shù)問題，提供一種能夠提高查詢效率的數(shù)據(jù)查詢方法、裝置、計算機設(shè)備、計算機可讀存儲介質(zhì)和計算機程序產(chǎn)品。

第一方面，本申請?zhí)峁┮环N數(shù)據(jù)查詢方法，所述方法包括：

接收查詢條件；

根據(jù)所述查詢條件確定待查詢數(shù)據(jù)所在的數(shù)據(jù)庫；

當所述待查詢數(shù)據(jù)在第一數(shù)據(jù)庫時，在第二數(shù)據(jù)庫獲取所述查詢條件對應(yīng)的數(shù)據(jù)索引，并基于所述數(shù)據(jù)索引從所述第一數(shù)據(jù)庫獲取到待查詢數(shù)據(jù)；

當所述待查詢數(shù)據(jù)在所述第二數(shù)據(jù)庫時，根據(jù)所述查詢條件從所述第二數(shù)據(jù)庫獲取到待查詢數(shù)據(jù)。

在其中一個實施例中，所述方法還包括：

獲取待入庫數(shù)據(jù)；

確定所述待入庫數(shù)據(jù)對應(yīng)的數(shù)據(jù)庫；

當所述待入庫數(shù)據(jù)對應(yīng)的數(shù)據(jù)庫為第一數(shù)據(jù)庫時，將所述待入庫數(shù)據(jù)存儲至第一數(shù)據(jù)庫，并生成所述待入庫數(shù)據(jù)對應(yīng)的主鍵，將所述主鍵存儲至第二數(shù)據(jù)庫；

當所述待入庫數(shù)據(jù)對應(yīng)的數(shù)據(jù)庫為第二數(shù)據(jù)庫時，將所述待入庫數(shù)據(jù)存儲至第二數(shù)據(jù)庫。

在其中一個實施例中，所述將所述待入庫數(shù)據(jù)存儲至第一數(shù)據(jù)庫，并生成所述待入庫數(shù)據(jù)對應(yīng)的主鍵，包括：

獲取所述第一數(shù)據(jù)庫的第一配置數(shù)據(jù)，所述第一配置數(shù)據(jù)包括第一預(yù)估數(shù)據(jù)量以及第一分區(qū)大小；

基于所述第一預(yù)估數(shù)據(jù)量以及第一分區(qū)大小計算所述第一數(shù)據(jù)庫的第一分區(qū)數(shù)量；