[發明專利]數據查詢方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202011528271.6
• 申請日: 2020-12-22
• 公開（公告）號: CN112632102A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 丁勇
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2453;G06F16/25
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

本申請實施例屬于大數據技術領域，涉及一種數據查詢方法，包括在接收到數據查詢指令時，獲取數據查詢指令對應的查詢數據對；根據查詢數據對連接目標數據庫集群，并生成目標數據庫集群的消費主題；根據消費主題查詢目標數據庫集群中的所有有效數據，對有效數據進行反序列化，得到目標對象；從目標數據庫集群中獲取目標對象對應的目標數據對，匹配查詢數據對和目標數據對，在查詢數據對與目標數據對匹配成功時，返回與查詢數據對匹配成功的目標數據對，以及匹配成功的目標數據對的查詢值。本申請還提供一種數據查詢裝置、計算機設備及存儲介質。此外，本申請還涉及區塊鏈技術，查詢值可存儲于區塊鏈中。本申請提高了數據查詢的準確率。

技術領域

本申請涉及大數據技術領域，尤其涉及一種數據查詢方法、裝置、計算機設備及存儲介質。

背景技術

近幾年，隨著大數據的流行，kafka作為一種高吞吐量的分布式發布訂閱消息系統，在大數據領域使用的越來越多。它可以處理消費者在網站中的所有動作流數據，這種動作(網頁瀏覽，搜索和其他用戶的行動)是在現代網絡上的許多社會功能的一個關鍵因素。

但是由于kafka本身只是一種存儲系統，不會校驗內部數據的準確性。在實際應用中，kafka中經常會由于各種原因造成內部有大量的臟數據(不符合業務要求的數據)。而由于大量臟數據的存在，最終導致數據查詢準確率低下的問題。

發明內容

本申請實施例的目的在于提出一種數據查詢方法、裝置、計算機設備及存儲介質，以解決數據查詢準確率低下的技術問題。

為了解決上述技術問題，本申請實施例提供一種數據查詢方法，采用了如下所述的技術方案：

在接收到數據查詢指令時，獲取所述數據查詢指令對應的查詢數據對；

根據所述查詢數據對連接目標數據庫集群，并生成所述目標數據庫集群的消費主題；

根據所述消費主題查詢所述目標數據庫集群中的所有有效數據，對所述有效數據進行反序列化，得到目標對象；

從所述目標數據庫集群中獲取所述目標對象對應的目標數據對，匹配所述查詢數據對和所述目標數據對，在所述查詢數據對與所述目標數據對匹配成功時，返回與所述查詢數據對匹配成功的目標數據對，以及所述匹配成功的目標數據對的查詢值。

進一步的，所述根據所述消費主題查詢所述目標數據庫集群中的所有有效數據的步驟具體包括：

獲取所述目標數據庫集群的分區數，啟動與所述分區數相同個數的所述消費主題；

在所述目標數據庫集群中根據所述消費主題對所述有效數據進行分區查詢。

進一步的，所述返回與所述查詢數據對匹配成功的目標數據對，以及所述匹配成功的目標數據對的查詢值的步驟具體包括：

所述查詢值包括分區值和偏移量，在所述查詢數據對與所述目標數據對匹配完成時，通過接口返回所有與所述查詢數據對匹配成功的目標數據對的分區值和偏移量。

進一步的，在所述返回與所述查詢數據對匹配成功的目標數據對，以及所述匹配成功的目標數據對的查詢值的步驟之后包括：

統計所述查詢數據對與所述目標數據對匹配成功的數據條數，并獲取所述目標數據對的數據類型；

根據所述數據條數和所述數據類型，確定所述查詢數據對是否為臟數據，其中，在所述數據類型為標識類型，且所述數據條數大于等于預設閾值時，確定所述目標數據對為所述臟數據。

進一步的，所述統計所述查詢數據對與所述目標數據對匹配成功的數據條數的步驟具體包括：

在所述查詢數據對與所述目標數據對匹配成功時，基于預設的內置計數器記錄匹配成功的次數；