[發明專利]數據查詢方法以及系統有效

申請號：	201811548647.2	申請日：	2018-12-18
公開（公告）號：	CN109656958B	公開（公告）日：	2021-11-16
發明（設計）人：	劉喜文;王文林;蔡大偉;毋小林;雷秀英;曹連超;王斌	申請（專利權）人：	北京小米移動軟件有限公司
主分類號：	G06F16/2455	分類號：	G06F16/2455;G06F16/36
代理公司：	北京三高永信知識產權代理有限責任公司 11138	代理人：	胡業勤
地址：	100085 北京市海淀區清河***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	數據查詢方法以及系統
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本公開是關于一種數據查詢方法以及系統，屬于數據庫技術領域。數據查詢系統包括數據處理引擎、查詢引擎和存儲引擎，查詢引擎中包括緩存；數據處理引擎用于接收異構數據源的數據，并基于預先構建的數據字典對接收到的數據進行過濾；數據處理引擎還用于對過濾后的數據進行多個維度的聚合運算處理，并將得到的數據處理結果存儲至緩存或存儲引擎；查詢引擎用于當接收到終端的數據查詢請求時，判斷數據查詢請求是否命中緩存，若數據查詢請求命中緩存，則從緩存中獲取與數據查詢請求匹配的查詢結果并返回給終端，若數據查詢請求未命中緩存，則從存儲引擎中獲取查詢結果并返回給終端。本公開實現了在多源異構海量數據的復雜業務場景下的快速數據查詢。

技術領域

本公開涉及數據庫技術領域，特別涉及一種數據查詢方法以及系統。

背景技術

信息時代的到來使得數據呈爆炸式增長，比如出現了TB(太字節)級甚至PB(拍字節)級大數據的查詢訴求，這已遠遠超出了傳統計算技術和信息系統的查詢能力，造成了在面對海量數據查詢時，數據查詢系統難以在用戶可接受的時間內返回匹配的查詢結果，即數據查詢系統難以滿足用戶對查詢響應時間的要求。基于此，在海量數據環境下，如何實現數據查詢，以減少查詢響應時間，提升查詢性能，成為了本領域技術人員目前亟待解決的一個問題。

發明內容

本公開提供了一種數據查詢方法以及系統，能夠克服相關技術中存在的查詢響應時間長的問題。

根據本公開實施例的第一方面，提供一種數據查詢系統，所述數據查詢系統包括數據處理引擎、查詢引擎和存儲引擎，所述查詢引擎中包括緩存；

所述數據處理引擎用于接收異構數據源的數據，并基于預先構建的數據字典對接收到的數據進行過濾；

所述數據處理引擎還用于對過濾后的數據進行多個維度的聚合運算處理，并將得到的數據處理結果存儲至所述緩存或所述存儲引擎；

所述查詢引擎用于當接收到終端的數據查詢請求時，判斷所述數據查詢請求是否命中所述緩存，若所述數據查詢請求命中所述緩存，則從所述緩存中獲取與所述數據查詢請求匹配的查詢結果并返回給所述終端，若所述數據查詢請求未命中所述緩存，則從所述存儲引擎中獲取所述查詢結果并返回給所述終端。

在一種可能的實現方式中，所述數據處理引擎還用于當所述數據處理結果為指標趨勢展示數據時，將所述數據處理結果存儲至所述查詢引擎的緩存；

所述數據處理引擎還用于當所述數據處理結果為熱點訪問數據時，將所述數據處理結果存儲至所述查詢引擎的緩存；

所述數據處理引擎還用于當所述數據處理結果為除了所述指標趨勢展示數據和所述熱點訪問數據之外的其他數據時，將所述數據處理結果存儲至所述存儲引擎。

在一種可能的實現方式中，所述查詢引擎還用于將存儲在所述存儲引擎中的數據處理結果預加載至所述緩存。

在一種可能的實現方式中，所述數據查詢系統還包括公共服務引擎；

所述公共服務引擎用于對所述查詢引擎接收到的數據查詢請求進行分析處理，當確定對目標數據的訪問量大于第一閾值，且所述查詢引擎返回所述目標數據的響應時間大于第二閾值時，將所述目標數據確定為熱點訪問數據，并將所述目標數據由所述存儲引擎加載至所述查詢引擎的緩存。