[發明專利]一種緩存數據的處理方法和處理系統有效

申請號：	201810719509.X	申請日：	2018-07-02
公開（公告）號：	CN109002260B	公開（公告）日：	2021-08-13
發明（設計）人：	徐佳宏;李銀	申請（專利權）人：	深圳市茁壯網絡股份有限公司
主分類號：	G06F3/06	分類號：	G06F3/06
代理公司：	深圳市深佳知識產權代理事務所(普通合伙) 44285	代理人：	王仲凱
地址：	518004 廣東省***	國省代碼：	廣東;44
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種緩存數據處理方法系統
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明屬于分布式系統技術領域，提供了一種緩存數據的處理方法和處理系統，應用于緩存管理節點，所述緩存管理節點和至少一個數據緩存節點通信連接，任一所述數據緩存節點中均包括至少一個硬盤，每一個所述數據存儲節點中的所有硬盤的存儲空間被劃分為多個存儲組塊，每一個所述存儲組塊中均包括多個數據存儲塊，每一個所述數據存儲塊的存儲容量相同，所述數據存儲塊用于存儲大文件分段后的片段數據，所述大文件為超過預設值的數據，所述方法通過將硬盤進行劃分得到數據存儲組塊，將大文件的片段數據保存在數據存儲組塊中，大大提高了緩存的容量及效率，將硬盤作為緩存的介質，實現了低成本的大量數據的緩存，實現了大文件的緩存處理。

技術領域

本發明涉及分布式系統技術領域，特別涉及一種緩存數據的處理方法和處理系統。

背景技術

分布式存儲系統，是將數據分散存儲在多臺獨立的設備上的存儲系統，通常通過一組或多組服務器或計算機構成，展現給用戶的是一個整體，對用戶來說好像是一個系統。

在分布式系統中，通常包括緩存服務器和數據服務器，緩存服務器用于緩存數據，緩存指的是將需要頻繁訪問的網絡內容存放在離用戶較近、訪問速度更快的系統中，以提高內容訪問速度的一種技術。緩存服務器就是存放頻繁訪問內容的服務器。

但是，現有技術中，僅提供了對小文件進行緩存的方法，對大文件進行緩存并沒有成熟的技術方案。

發明內容

有鑒于此，本發明提供一種緩存數據的處理方法和處理系統，用以實現大文件的緩存處理率。

為了實現上述發明目的，本發明提供以下技術方案：

一種緩存數據的處理方法，應用于緩存管理節點，所述緩存管理節點和至少一個數據緩存節點通信連接，任一所述數據緩存節點中均包括至少一個硬盤，每一個所述數據存儲節點中的所有硬盤的存儲空間被劃分為多個存儲組塊，每一個所述存儲組塊中均包括多個數據存儲塊，每一個所述數據存儲塊的存儲容量相同，所述數據存儲塊用于存儲大文件分段后的片段數據，所述大文件為超過預設值的數據，所述方法包括：

接收用戶發送的數據訪問請求，所述數據訪問請求中包括目標文件的元數據；所述目標文件為大文件的片段數據；

若所述元數據存在緩存映射，則根據所述元數據確定所述片段數據在數據緩存節點的存儲位置信息；

根據所述存儲位置信息獲取所述片段數據；

將所述片段數據返回給所述用戶。

優選的，若所述元數據不存在緩存映射，所述方法還包括：

根據所述元數據在與數據緩存節點通信連接的數據服務器中確定所述片段數據；

將所述片段數據返回給所述用戶。

優選的，還包括：

根據所述元數據記錄所述目標文件的文件信息、文件索引信息、用戶請求數據量并累加所述目標文件的權值，所述權值用于表征所述目標文件的訪問熱度。

優選的，還包括：

判斷所述目標文件的權值是否超過第一閾值；

若是，則將所述目標文件從所述數據服務器中緩存到數據緩存節點，并將所述目標文件的標識加入最近最少訪問列表LRU的一級隊列中。