[發明專利]緩存數據的處理方法、電子裝置及可讀存儲介質

有效

• 申請號: 202010109115.X
• 申請日: 2020-02-21
• 公開（公告）號: CN111400308B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 陳真;易方彥
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及數據處理技術領域，揭露了一種緩存數據的處理方法，該方法包括：根據數據數量與目標key值位數之間的映射關系確定待緩存數據對應的目標key值的目標位數；將待緩存數據中每條數據對應的初始key值及初始value值組合得到的鍵值對作為第一鍵值對；根據初始key值、目標位數、第一算法得到目標key值，將第一鍵值對作為目標value值，將目標key值、目標value值組合得到的鍵值對作為第二鍵值對；根據目標key值、第二算法得到第二鍵值對對應的位置哈希值，將第二鍵值對存儲至位置哈希值對應的緩存存儲空間。本發明還提出一種電子裝置以及一種計算機可讀存儲介質。本發明可提高緩存空間利用率，降低存儲成本。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種緩存數據的處理方法、電子裝置及可讀存儲介質。

背景技術

隨著互聯網的發展，大量網絡應用產生了海量的數據，為了提高查詢效率，同時為避免直接與數據庫操作而出現系統瓶頸，通常將數據放入緩存中，隨著數據的增長，數據緩存成本的問題越加嚴峻，例如，五十億的存儲數據將需要1T多的緩存空間來存儲key-value記錄(因key-value分布式存儲系統查詢速度快、存放數據量大、支持高并發，故而當前普遍采用key-value數據庫)，同時由于存在大量key-value指針，使得存儲膨脹率比較高。因此，亟需一種緩存數據的處理方法，以提高緩存空間利用率，降低存儲成本。

發明內容

鑒于以上內容，有必要提供一種緩存數據的處理方法，旨在提高緩存空間利用率，降低存儲成本。

本發明提供的緩存數據的處理方法，包括：

數據獲取步驟：從數據庫中獲取待緩存數據，確定所述待緩存數據的數據總量，根據數據數量與目標key值位數之間的映射關系確定所述待緩存數據對應的目標key值的目標位數；

第一組合步驟：確定所述待緩存數據中每條數據對應的初始key值及初始value值，將所述初始key值、初始value值組合得到的鍵值對作為第一鍵值對；

第二組合步驟：根據所述初始key值、所述目標位數、第一算法得到目標key值，將所述第一鍵值對作為目標value值，將所述目標key值、所述目標value值組合得到的鍵值對作為第二鍵值對；

數據存儲步驟：根據所述目標key值、第二算法得到所述第二鍵值對對應的位置哈希值，將所述第二鍵值對存儲至所述位置哈希值對應的緩存存儲空間。

可選的，所述第一算法為md5算法，所述第二算法的計算公式為：

其中，P_i為待緩存數據中第i個第二鍵值對對應的位置哈希值，K_i為待緩存數據中第i個第二鍵值對的目標key值，T為待緩存數據中第二鍵值對的總數量。

可選的，所述第一組合步驟還包括：

獲取所述待緩存數據中每條數據對應的初始key值，若某兩條數據對應的初始key值相同，則刪除所述兩條數據中任意一條數據對應的第一鍵值對。

可選的，所述方法還包括：

為緩存中每個第二鍵值對設置有效時間段，實時監控每個第二鍵值對的訪問記錄，若某個指定第二鍵值對在有效時間段內被訪問，則為所述指定第二鍵值對增加預設天數的有效時間。

可選的，所述方法還包括：

實時監控緩存的剩余內存容量，若所述剩余內存容量小于預設閾值，則向預設客戶端發送預警信息。

此外，為實現上述目的，本發明還提供一種電子裝置，該電子裝置包括：存儲器、處理器，所述存儲器中存儲有可在所述處理器上運行的緩存數據處理程序，所述緩存數據處理程序被所述處理器執行時實現如下步驟：