[發明專利]一種高效的本地緩存管理及讀寫方法

有效

• 申請號: 201410538375.3
• 申請日: 2014-10-13
• 公開（公告）號: CN104239234A
• 公開（公告）日: 2014-12-24
• 發明（設計）人: 鄭汝波;張士波;楊敬宇;姚鍵;潘柏宇;盧述奇
• 申請（專利權）人: 合一網絡技術（北京）有限公司
• 主分類號: G06F12/08
• 分類號: G06F12/08;G06F3/06;G06F21/78
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種本地緩存管理及讀寫方法，其特征在于：

將本地緩存數據的多個物理存儲文件的大小按照128M的倍數遞增，最大值不超過1G，數據塊的存儲根據數據塊的長度選擇最接近的文件進行存儲。

2.根據權利要求1所述的本地緩存管理及讀寫方法，其特征在于：

所述物理存儲文件的頭部具有頭部索引數據區，所述頭部索引數據區具有固定大小的空間，用于存儲所述物理存儲文件所包含的所有數據塊的數據結構，所述數據結構包括所述數據塊的數量，數據塊的大小、所述數據塊存儲地址和所述數據塊的校驗信息。

3.根據權利要求2所述的本地緩存管理及讀寫方法，其特征在于：

所述頭部索引數據區包括緩存文件信息，以及緩存的數據塊索引數據；

其中所述緩存文件信息是指所述物理文件的總體信息，包括整個文件的大小，緩存的數據大小，緩存的數據塊數量，數據塊索引數據偏移地址，緩存數據偏移地址；

所述緩存的數據塊索引數據包括數據塊大小，數據塊偏移地址，數據MD5，數據塊位圖和數據塊時間信息。

4.根據權利要求3所述的本地緩存管理及讀寫方法，其特征在于：

所述數據塊時間信息包括數據塊創建時間，訪問時間和修改時間。

5.根據權利要求1-4中任意一項所述的本地緩存管理及讀寫方法，其特征在于：

對于長度較大的文件，按照一定比例分割成多個分片，分別取每個分片的一小段數據，利用所有的一小段數據共同生成MD5值。

6.根據權利要求5所述的本地緩存管理及讀寫方法，其特征在于：

對于所述物理存儲文件中的每個所述緩存的數據塊，能夠對頭部一定長度范圍的數據進行加密，以防該數據被其他程序利用。

7.根據權利要求5所述的本地緩存管理及讀寫方法，其特征在于：

在數據寫入時，在每個緩存文件中查找當前要寫入的數據塊，如果沒有找到，則通過空閑空間最接近數據塊大小的原則挑選合適的物理文件，并創建新的數據塊結構。如果找到則直接寫入到相應的文件。

8.根據權利要求5所述的本地緩存管理及讀寫方法，其特征在于：

對于下載的數據塊，在完整下載數據塊并校驗后再提交到上層應用。

9.根據權利要求5所述的本地緩存管理及讀寫方法，其特征在于：

對緩存的物理存儲文件的總量進行限制，當下載的數據總量超過緩存的上限，需要對歷史的緩存數據進行淘汰。

10.根據權利要求9所述的本地緩存管理及讀寫方法，其特征在于：

通過歷史訪問的時間，或者訪問頻率來挑選優先淘汰的數據，以滿足當前所要存儲的數據塊的大小。