[發明專利]一種數據查詢方法及裝置

有效

• 申請號: 201910135452.3
• 申請日: 2019-02-22
• 公開（公告）號: CN109885574B
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 黃全;丁寧
• 申請（專利權）人: 廣州荔支網絡技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/2453
• 代理公司: 廣州佳睿知識產權代理事務所(普通合伙) 44610
• 代理人: 李健富

本發明涉及一種數據查詢方法和裝置。所述方法包括：對主鍵進行哈希計算得到關鍵值；根據所述關鍵值從多個熱點哈希表中確定待查詢的目標熱點哈希表；從所述目標熱點哈希表中查詢目標數據；在查詢到所述目標數據的情況下，反饋所述目標數據，并更新統計哈希表中所述目標數據對應的查詢次數。通過本發明實施例，可以自動識別出熱點數據并保持熱點數據長期緩存在內存中，不僅提高了查詢效率，而且還節省了內存資源。

技術領域

本發明涉及數據庫技術領域，尤其涉及一種數據查詢方法和裝置。

背景技術

互聯網行業中，在高并發場景下，會頻繁查詢某一小部分的數據，這一部分數據我們稱之為熱點數據。而如何高效地查詢這些熱點數據、如何保證熱點數據不過期、如何清除冷數據，一直是業界關注的問題。

對于傳統數據庫，數據庫緩存用于緩存SQL(Structured Query Language，結構化查詢語言)及SQL相應的查詢結果，如果表結構或記錄數據有變化，則相應的緩存數據會被清空，緩存不能得到有效的應用。而如果執行相同的SQL次數很少，則數據庫緩存中存儲的將是大部分冷數據，會造成內存資源的浪費。

對于常見的NoSQL(Not Only SQL，非關系型的數據庫)技術，比如redis、memcach等，在應用上都是對記錄設置過期時長，到了過期時間，記錄將被刪除；對于ehcache，可以對記錄設置距離上次讀或寫多長時間后，如果沒有再被操作，則刪除記錄。上述的這些NoSQL產品，自身都不具備自動識別出熱點數據并保持熱點數據長期緩存在內存的功能。

發明內容

本發明公開了一種數據查詢方法和裝置，以解決現有技術中數據庫中存儲大量冷數據，導致查詢效率低，浪費內存資源的問題。

第一個方面，本發明提供了一種數據查詢方法，所述方法包括：

對主鍵進行哈希計算得到關鍵值；

根據所述關鍵值從多個熱點哈希表中確定待查詢的目標熱點哈希表；

從所述目標熱點哈希表中查詢目標數據；

在查詢到所述目標數據的情況下，反饋所述目標數據，并更新統計哈希表中所述目標數據對應的查詢次數。

優選地，所述方法還包括：

根據所述統計哈希表分別確定所述多個熱點哈希表中各熱點數據對應的查詢次數；

在所述熱點數據對應的查詢次數不存在的情況下，刪除所述熱點數據。

優選地，所述方法還包括：

在從所述目標熱點哈希表中未查詢到所述目標數據的情況下，根據所述關鍵值從多個數據哈希表中確定目標數據哈希表；

從所述目標數據哈希表中查詢所述目標數據；

在查詢到所述目標數據的情況下，反饋所述目標數據，并更新所述統計哈希表中所述目標數據對應的查詢次數。

優選地，在所述從所述目標數據哈希表中查詢所述目標數據之后，所述方法還包括：

在從所述目標數據哈希表中未查詢到所述目標數據的情況下，反饋所述目標數據不存在。

優選地，所述方法還包括：

從所述多個數據哈希表中查找超時限數據；

在查找到所述超時限數據的情況下，根據所述統計哈希表確定所述超時限數據對應的查詢次數；

在所述超時限數據對應的查詢次數小于預設次數的情況下，刪除所述超時限數據；

在所述超時限數據對應的查詢次數不小于所述預設次數的情況下，將所述超時限數據作為熱點數據存儲至所述熱點哈希表中。