[發明專利]一種基于文件和數據塊兩級粒度的副本替換方法及系統

有效

• 申請號: 201110360135.5
• 申請日: 2011-11-14
• 公開（公告）號: CN103106213B
• 公開（公告）日: 2016-11-23
• 發明（設計）人: 王玲芳;程剛;謝鐵兵
• 申請（專利權）人: 中國科學院聲學研究所;北京中科華影傳媒技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京法思騰知識產權代理有限公司 11318
• 代理人: 楊小蓉;高宇

技術領域

本發明屬于廣域分布式系統技術領域，具體地說，本發明涉及一種基于文件和數據塊兩級粒度的副本替換方法及系統。

背景技術

在主存儲讀取速度低的條件下，緩存的使用對于提供數據訪問速度起到了極其重要的作用。由于應用對數據的訪問存在不同的規律，數據進入緩存和退出緩存就需要采取某種機制，最常用的方法是LRU(最近最少使用)替換機制。但LRU存在如下問題：不能處理弱訪問局部性，比如：(1)文件掃描：一次訪問的數據塊不能被及時地替換；(2)類循環訪問：最早被訪問的數據塊不幸地被替換；(3)以不同頻率進行的訪問：頻繁被訪問的數據塊可被不幸地替換出。針對上述問題，美國俄亥俄大學的李曉東團隊提出LIRS(Low?Inter-reference?Recency?Set?algorithm、低互引用最近性集合算法)機制。該機制首先定義IRR(Inter-reference?Recency，互引用最近性)為在對該數據塊的兩次連續引用之間，所訪問其他不同數據塊數，即重用距離；其觀察依據是一個高IRR數據塊將不會被頻繁使用，從而選擇高IRR數據塊加以替換；以最近性用作第二引用。LIRS的操作有四種情況：(1)初始化：直到LIR數據塊集合滿之前，所有被引用的數據塊都被賦予一個LIR狀態，同時將駐留HIR數據塊放置于一個小型的LRU棧中；(2)在訪問一個LIR數據塊(一次命中)時的處理；(3)在訪問一個駐留HIR數據塊(一次命中)時的處理；(4)在訪問一個非駐留HIR數據塊(一次非命中)時的情況。其具體操作這里不再詳述，可參見相關文獻。

LIRS適用于數據粒度較小的情況。對于較大粒度的數據管理，比如數十兆、數百兆，甚至更大的數據文件，由于訪問分布于文件的不同位置，造成與小粒度數據的規律不同，同時替換代價也不同。基于此，在廣域分布式系統的數據管理中，就需要考慮不同的數據替換方法，本發明正是針對這一問題而提出的方法。

發明內容

本發明的目的是考慮大型文件尺寸條件下，在廣域分布式系統中，針對訪問分布于文件的不同位置、替換代價不同等特征，從而提供一種基于文件和數據塊兩級粒度的副本替換方法及系統。

為實現上述發明目的，本發明提供一種基于文件和數據塊兩級粒度的副本替換系統，該系統用于為廣域的基于內容分布式的系統提供一種數據副本替換策略，所述系統包含：文件管理子系統和數據塊管理子系統。

所述文件管理子系統，用于處理替換系統內部的文件請求并生成與其相連接的文件緩存單元的文件副本替換策略。

所述數據塊管理子系統，用于處理數據塊請求、進行訪問統計并生成與其相連的數據塊緩存單元的數據塊副本替換策略。

其中，所述數據塊管理子系統向所述文件管理子系統報告數據塊的使用狀態信息；所述文件管理子系統和數據塊管理子系統之間是一對多的關系。

上述技術方案中，所述文件管理子系統進一步包含：

文件進入緩存單元：該單元在有對文件的讀寫請求時，從外部文件源處得到該文件。

文件副本替換退出策略生成單元，該單元首先將文件進入緩存單元得到的最新文件替換位于文件緩存單元上的被引用為否的文件；其次在LIRS機制的基礎上，將引用距離和最近性之外的文件熱度指標作為文件是否退出文件緩存單元的依據，即當有若干個文件滿足引用距離和最近性指標退出文件緩存單元的條件時，要進一步選擇文件熱度低的文件作為最終退出文件緩存單元的文件。和

基于數據塊信息更新文件狀態信息的單元，該單元從數據塊管理子系統接收數據塊統計信息，將數據塊的使用次數累加到對應數據塊的訪問次數，并當數據塊退出一數據塊管理子系統時，對該數據塊的被引用計數減1，當被引用計數為值0時，表示沒有數據塊管理子系統緩存或訪問該數據塊；依據各數據塊的訪問次數，更新文件熱度；依據各數據塊的被引用計數，更新文件被引用狀態。

其中，所述數據塊統計信息包括數據塊的使用次數、數據塊退出所述數據塊管理子系統所連接的緩存單元的時間。

上述技術方案中，所述數據塊管理子系統進一步包含：

基于LIRS機制生成數據塊替換策略的單元，該單元采取LIRS機制處理所有數據塊進入數據塊緩存單元、數據塊被訪問和退出數據塊緩存單元的操作。

數據塊統計單元，該單元在數據塊進入數據塊緩存單元時和被訪問時，對數據塊引用進行累加計數。和

數據塊統計信息上報單元，該單元在某數據塊退出數據塊緩存單元時，將該數據塊的退出信息及數據塊統計單元進行的累加計數信息同時上報所述基于數據塊信息更新文件狀態信息的單元。