[發(fā)明專利]一種數(shù)據(jù)查詢方法及數(shù)據(jù)查詢裝置

在審

• 申請?zhí)枺?/td>: 201910247726.8
• 申請日: 2019-03-29
• 公開（公告）號: CN110008244A
• 公開（公告）日: 2019-07-12
• 發(fā)明（設計）人: 熊穎;周曉陽;張慧琳;魏星;強倩;萬可;鮑青波
• 申請（專利權(quán)）人: 國家計算機網(wǎng)絡與信息安全管理中心;北京天融信網(wǎng)絡安全技術(shù)有限公司;北京天融信科技有限公司;北京天融信軟件有限公司;北京天融信安全技術(shù)有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/2453
• 代理公司: 北京金信知識產(chǎn)權(quán)代理有限公司 11225
• 代理人: 喻嶸;郭迎俠

本申請實施例公開了一種數(shù)據(jù)查詢方法及數(shù)據(jù)查詢裝置，所述方法包括：獲取數(shù)據(jù)查詢信息；分析所述數(shù)據(jù)查詢信息，并分解得到子查詢信息；確定用以查詢所述子查詢信息的存儲引擎；以第一預設算法對所述子查詢信息進行第一處理，并發(fā)送進行了所述第一處理后的子查詢信息至所述存儲引擎；接收所述存儲引擎反饋的子查詢結(jié)果；對所述子查詢結(jié)果進行第二處理，得到查詢結(jié)果。其能夠通過對數(shù)據(jù)查詢信息的分解，充分利用存儲引擎對分解后進行了第一處理的子查詢信息的查詢優(yōu)勢，快速查詢得到相應子查詢信息的子查詢結(jié)果，進而提高對數(shù)據(jù)查詢信息的查詢性能以及分析效率。

技術(shù)領(lǐng)域

本申請涉及信息分析及處理領(lǐng)域，特別是一種數(shù)據(jù)查詢方法及數(shù)據(jù)查詢裝置。

背景技術(shù)

目前，隨著大數(shù)據(jù)時代的到來，已經(jīng)無法再通過單一的存儲引擎滿足針對所有類型數(shù)據(jù)的存儲和分析，現(xiàn)有技術(shù)中，為了滿足不同的數(shù)據(jù)存儲需求和不同的數(shù)據(jù)訪問方式，一般是采用HDFS(分布式文件系統(tǒng))、Hive(數(shù)據(jù)倉庫工具)、Elasticsearch(搜索服務器)、MySQL(關(guān)系型數(shù)據(jù)庫管理系統(tǒng))等數(shù)據(jù)存儲技術(shù)分別對不同類型的數(shù)據(jù)進行存儲，通過多種存儲技術(shù)的并存滿足了單一數(shù)據(jù)源的存儲和訪問需求，但是，其卻為跨存儲設備的數(shù)據(jù)關(guān)聯(lián)查詢和分析造成了不便。

當然，現(xiàn)有技術(shù)中，也存在著常用的Hive(數(shù)據(jù)倉庫工具)、Spark(計算引擎)、Presto(數(shù)據(jù)查詢引擎)等數(shù)據(jù)查詢和分析引擎，其內(nèi)置了不同的插件擴展機制，但是，其所提供的擴展機制并沒有考慮到外部不同存儲設備的數(shù)據(jù)源查詢特性的不同，進而也就導致，雖然可以基于其內(nèi)置擴展機制，實現(xiàn)跨存儲設備的數(shù)據(jù)關(guān)聯(lián)查詢，但是，無法利用存儲設備的特性，從而導致數(shù)據(jù)查詢和分析性能較差。

發(fā)明內(nèi)容

有鑒于現(xiàn)有技術(shù)中存在的上述問題，本申請?zhí)峁┝艘环N充分利用存儲引擎查詢信息，進而提高查詢性能以及分析效率的數(shù)據(jù)查詢方法及數(shù)據(jù)查詢裝置。

本申請實施例提供了一種數(shù)據(jù)查詢方法，包括：

獲取數(shù)據(jù)查詢信息；

分析所述數(shù)據(jù)查詢信息，并分解得到子查詢信息；

確定用以查詢所述子查詢信息的存儲引擎；

以第一預設算法對所述子查詢信息進行第一處理，發(fā)送進行了所述第一處理后的子查詢信息至所述存儲引擎；

接收所述存儲引擎反饋的子查詢結(jié)果；

對所述子查詢結(jié)果進行第二處理，得到查詢結(jié)果。

在本申請的一些實施例中，所述子查詢信息為至少兩個不同的子查詢信息，所述確定用以查詢所述子查詢信息的存儲引擎，包括：

基于至少兩個不同的子查詢信息，分別確定所述至少兩個不同的所述子查詢信息各自對應的存儲引擎。

在本申請的一些實施例中，所述對所述子查詢信息進行第一處理，包括：

對所述子查詢信息進行全局規(guī)劃下推、謂詞下推、列下推、聚合下推、排序下推、限量下推以及關(guān)聯(lián)下推中的至少一種。

在本申請的一些實施例中，所述以第一預設算法對所述子查詢信息進行第一處理，包括：

基于確定的所述存儲引擎，以適配于所述存儲引擎的方式對所述子查詢信息進行第一處理。

在本申請的一些實施例中，所述以第一預設算法對所述子查詢信息進行第一處理，發(fā)送進行了所述第一處理后的子查詢信息至所述存儲引擎，包括：

若不能夠?qū)λ鲎硬樵冃畔⑦M行第一處理，則標記所述子查詢信息為匯總查詢信息，發(fā)送所述匯總查詢信息至所述存儲引擎。

在本申請的一些實施例中，所述發(fā)送進行了所述第一處理后的子查詢信息至所述存儲引擎，包括：