[發明專利]一種緩存數據的處理方法和處理系統

有效

• 申請號: 201810719509.X
• 申請日: 2018-07-02
• 公開（公告）號: CN109002260B
• 公開（公告）日: 2021-08-13
• 發明（設計）人: 徐佳宏;李銀
• 申請（專利權）人: 深圳市茁壯網絡股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種緩存數據的處理方法，其特征在于，應用于緩存管理節點，所述緩存管理節點和至少一個數據緩存節點通信連接，任一所述數據緩存節點中均包括至少一個硬盤，每一個所述數據緩存節點中的所有硬盤的存儲空間被劃分為多個存儲組塊，每一個所述存儲組塊中均包括多個數據存儲塊，每一個所述數據存儲塊的存儲容量相同，所述數據存儲塊用于存儲大文件分段后的片段數據，所述大文件為超過預設值的數據，所述數據緩存節點包括至少兩臺緩存服務器，每一臺緩存服務器包括多個緩存硬盤，其中，每一個數據存儲節點中的所有硬盤按照橫向編號的方式進行劃分的，且編號是連續的，所有相同編號的數據存儲塊綁定到一起作為一個數據存儲組塊，所述方法包括：

接收數據緩存節點上線的上線指令；

確定所述上線指令中的所述數據緩存節點的緩存節點信息，其中，所述緩存節點信息包括：所述數據緩存節點中硬盤的個數、每一個硬盤的容量、IP地址、端口號和已經緩存數據的元數據；

恢復所述數據緩存節點上的所有數據存儲組塊的管理以及數據存儲組塊中元數據的管理；

接收用戶發送的數據訪問請求，所述數據訪問請求中包括目標文件的元數據；所述目標文件為大文件的片段數據；

若所述元數據存在緩存映射，則根據所述元數據確定所述片段數據在數據緩存節點的存儲位置信息；

根據所述存儲位置信息獲取所述片段數據；

將所述片段數據返回給所述用戶；

所述方法還包括：

根據所述元數據記錄所述目標文件的文件信息、文件索引信息、用戶請求數據量，并累加所述目標文件的權值，所述權值用于表征所述目標文件的訪問熱度；

判斷所述目標文件的權值是否超過第一閾值；

若是，則將所述目標文件從數據服務器中緩存到數據緩存節點，并將所述目標文件的標識加入最近最少訪問列表LRU的一級隊列中，其中，級別越高的隊列所占用的緩存量就越少；

判斷所述目標文件的權值是否超過第二閾值；

若是，則將所述目標文件的標識從一級隊列轉移至二級隊列的末尾，并在所述目標文件的緩存閾值達到預設標準時創建所述目標文件的副本。

2.根據權利要求1所述的處理方法，其特征在于，若所述元數據不存在緩存映射，所述方法還包括：

根據所述元數據在與數據緩存節點通信連接的數據服務器中確定所述片段數據；

將所述片段數據返回給所述用戶。

3.根據權利要求1所述的處理方法，其特征在于，所述緩存閾值達到預設標準具體包括：

判斷所述目標文件的訪問頻率是否超過訪問頻率閾值，得到第一結果；

判斷所述目標文件的訪問量是否超過訪問量閾值，得到第二結果；

判斷所述目標文件所在硬盤的輸出能力是否超過硬盤輸出能力閾值，得到第三結果；

判斷所述目標文件所在數據緩存節點的輸出能力是否超過節點輸出能力閾值，得到第四結果；

若所述第一結果、所述第二結果、所述第三結果以及所述第四結果中的任意一個結果為是時，則確定所述緩存閾值達到預設標準。

4.根據權利要求1所述的處理方法，其特征在于，所述創建所述目標文件的副本包括：

復制所述目標文件并保存在于所述目標文件所在的數據緩存節點的數據存儲塊不同的數據存儲塊中或者保存在與所述目標文件所在的數據緩存節點不同的數據緩存節點中。

5.根據權利要求1所述的處理方法，其特征在于，還包括：

若接收到降級指令，則將所述最少訪問列表LRU中的所述目標文件的標識執行降級操作，并根據降級操作后所述目標文件的標識所處的所述LRU的位置對所述目標文件或所述目標文件的副本進行刪除。