[發明專利]一種高效的本地緩存管理及讀寫方法

有效

• 申請號: 201410538375.3
• 申請日: 2014-10-13
• 公開（公告）號: CN104239234A
• 公開（公告）日: 2014-12-24
• 發明（設計）人: 鄭汝波;張士波;楊敬宇;姚鍵;潘柏宇;盧述奇
• 申請（專利權）人: 合一網絡技術（北京）有限公司
• 主分類號: G06F12/08
• 分類號: G06F12/08;G06F3/06;G06F21/78
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及文件管理方法，具體的，本發明涉及一種對于本地緩存文件進行高效地管理以及讀寫的方法。

背景技術

本地緩存數據管理是下載應用程序能否高效運行的關鍵環節，緩存數據管理的方式多種多樣，能否建立一個高效，快捷，方便的緩存文件組織結構是在數據存儲領域被廣泛探討的問題。在現有技術中，緩存數據管理的性能指標可以分為以下幾點：

1.1緩存數據的讀寫速度是否滿足業務的需求，磁盤讀寫(I/O)操作一直是軟件性能的瓶頸之一，達到高效的讀寫性能的同時也必須保證讀寫邏輯不能占用過高的CPU性能。

1.2緩存數據的物理存儲結構是否合理，緩存數據的存儲形式和組織結構直接影響了數據的訪問復雜程度和擴展成本。緩存數據的訪問包括讀寫，修改，刪除等操作，存儲結構的定義必須兼顧所有這些訪問操作。

1.3緩存數據管理是否能夠最大程度的利用當前已經使用的磁盤空間。由于緩存數據的大小和單位存在多樣性的特點，所以緩存管理策略既要最大程度減少小文件導致的碎片累積的問題又要防止出現大文件的切割問題。

1.4緩存數據管理是否能夠保證數據的安全性和正確性。由于系統本身的缺陷或者人為方面等因素，本地緩存數據可能會被篡改，由此，緩存數據的訪問涉及對數據本身校驗的過程。

而現有技術中，本地緩存的管理存在如下問題：

2.1占用磁盤空間過多，緩存數據的有效利用率低

由于大數據應用的需要，緩存文件占用的磁盤空間也越來越大，所以很多應用都會選擇使用多個較大物理文件來緩存數據，為了避免同一數據單元存儲在多個物理文件帶來的邏輯復雜度，普遍采用的方式是同一數據單元的內容都存儲在同一個物理文件上，這樣會導致每個物理文件尾都不能恰好被完全占用，數據單元越大，浪費的空間也會隨之增加。

2.2小文件數量較多，占用系統資源較多

某些應用數據單元較小，但數量較多，這種情況會普遍采用文件夾的方式來管理，每個文件夾下面會保存數量較多的小文件來緩存數據。這種方式的優點在于文件小，磁盤浪費率低，操作方便，缺點就是小文件數量多，占用系統資源較多，影響系統的整體性能。

2.3緩存數據的校驗過程冗長，效率低下

加載本地緩存數據的過程本身也是對緩存數據校驗的過程，最簡單有效的方式是將本地數據生成的校驗數據與服務器的校驗數據進行比較，以此判斷本地的數據正確性。如果緩存數據總量不高可以采用該方法，反之，如果本地緩存數據較多，每塊數據的校驗都需要完整讀取本地數據，將會導致程序加載過程冗長低效。

2.4緩存數據文件結構簡單，安全性不高

緩存數據的安全性是程序能否正確運行的一個保障，所以緩存文件的存儲既要保障緩存數據本身的正確性又要對數據本身進行必要的防護措施，防止惡意程序的篡改和訪問。

因此，如何能夠改善現有技術中本地緩存的管理以及存儲缺陷，減少本地緩存所占用的系統資源，提高數據加載效率，成為現有技術亟需解決的技術問題。

發明內容

本發明的目的在于提出一種高效的本地緩存管理及讀寫方法，以減少本地緩存占用資源和提高數據加載效率。

為達此目的，本發明采用以下技術方案：

一種本地緩存管理及讀寫方法，其特征在于：將本地緩存數據的多個物理存儲文件的大小按照128M的倍數遞增，最大值不超過1G，數據塊的存儲根據數據塊的長度選擇最接近的文件進行存儲。

優選地，所述物理存儲文件的頭部具有頭部索引數據區，所述頭部索引數據區具有固定大小的空間，用于存儲所述物理存儲文件所包含的所有數據塊的數據結構，所述數據結構包括所述數據塊的數量，數據塊的大小、所述數據塊存儲地址和所述數據塊的校驗信息。

優選地，所述頭部索引數據區包括緩存文件信息，以及緩存的數據塊索引數據；其中所述緩存文件信息是指所述物理文件的總體信息，包括整個文件的大小，緩存的數據大小，緩存的數據塊數量，數據塊索引數據偏移地址，緩存數據偏移地址；所述緩存的數據塊索引數據包括數據塊大小，數據塊偏移地址，數據MD5，數據塊位圖和數據塊時間信息。

優選地，所述數據塊時間信息包括數據塊創建時間，訪問時間和修改時間。

優選地，對于長度較大的文件，按照一定比例分割成多個分片，分別取每個分片的一小段數據，利用所有的一小段數據共同生成MD5值。

優選地，對于所述物理存儲文件中的每個所述緩存的數據塊，能夠對頭部一定長度范圍的數據進行加密，以防該數據被其他程序利用。