[發明專利]數據查詢方法、裝置、介質及電子設備

在審

• 申請號: 201810571915.6
• 申請日: 2018-05-31
• 公開（公告）號: CN110633296A
• 公開（公告）日: 2019-12-31
• 發明（設計）人: 王占民;李偉進
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/2455;G06F16/28;G06F16/22
• 代理公司: 11438 北京律智知識產權代理有限公司
• 代理人: 王衛忠;袁禮君

本發明實施例提供了一種數據查詢方法、裝置、介質及電子設備，該數據查詢方法包括：響應于數據查詢請求，所述數據查詢請求中包括：目標對象，基于存儲在第一緩存區域中的對象ID索引，獲取所述目標對象的ID；基于所述目標對象的ID，從分布式存儲系統中提取目標對象數據，將所述目標對象數據存儲在第二緩存區域；基于所述第二緩存區域中所存儲的目標對象數據實現數據查詢。本發明實施例的技術方案能夠利用內存緩存全部對象數據ID，形成索引，存儲常被訪問的對象，快速響應查詢，減少了內存消耗，以較低成本實現了數據的快速分析和處理。

技術領域

本發明涉及計算機技術領域，具體而言，涉及一種數據查詢方法、裝置、介質及電子設備。

背景技術

隨著互聯網應用被廣泛使用，互聯網應用后臺已經并將繼續積累大量數據。一方面，大量互聯網用戶可以通過互聯網應用，例如京東App，發表評價、問題及回答等內容。另一方面，很多互聯網用戶通過互聯網應用，查詢諸多數據內容，這些數據內容的量級往往會達到T字節級別。如何存儲，組織這些數據，并且較為迅速地響應查詢請求，成為互聯網應用后臺研發人員需要關注的問題

現有的技術方案主要包括：(1)利用內存緩存保存用戶關心的數據，并提供查詢；(2)利用關系型數據庫保存數據和提供查詢，增加數據庫索引加快查詢速度；(3)利用分布式數據存儲技術搭建大規模結構化存儲集群，來提供數據存儲服務。

目前的技術方案都存在不足：(1)計算機內存的成本還是比較高的，如果把所有數據都放在內存中，成本會相當高。而且有些數據，不常被查詢，如果讓這些數據長期占用內存，也會造成內存資源浪費；(2)關系型數據庫支持高并發查詢的能力是有限的；(3)分布式數據存儲系統并不適合傳統的事物處理程序或關聯分析，不支持復雜查詢。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本發明的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本發明實施例的目的在于提供一種數據查詢方法、裝置、介質及電子設備，進而至少在一定程度上克服相關技術中無法實現對數據快速分析和處理的問題。

本發明的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本發明的實踐而習得。

根據本發明實施例的第一方面，提供了一種數據查詢實現方法，包括：

響應于數據查詢請求，所述數據查詢請求中包括：目標對象，基于存儲在第一緩存區域中的對象ID索引，獲取所述目標對象的ID；

基于所述目標對象的ID，從分布式存儲系統中提取目標對象數據，將所述目標對象數據存儲在第二緩存區域；

基于所述第二緩存區域中所存儲的目標對象數據實現數據查詢。

在本發明的一些實施例中，上述響應于數據查詢請求之前，所述方法還包括：

接收對象數據，將對象數據存儲在關系型數據庫和分布式存儲系統中；

根據預設的排序規則，將所述對象數據的ID寫入第一緩存區域，生成對象ID索引，其中，所述對象數據的ID為整數型ID。

在本發明的一些實施例中，上述接收對象數據，將對象數據存儲在關系型數據庫和分布式存儲系統中，包括：

在所述關系型數據庫中存儲需要進行統計的對象數據，對所存儲的對象數據進行統計；

將統計后所獲得的全量對象數據存儲在所述分布式存儲系統中。

在本發明的一些實施例中，上述基于所述第二緩存區域中所存儲的目標對象數據實現數據查詢，包括：

對所述數據查詢請求進行分析，判斷是否從所述第二緩存區域獲取目標對象數據；