[發明專利]一種基于離線緩存文件操作集中記錄預處理并重放的方法

有效

• 申請號: 201310344811.9
• 申請日: 2013-08-09
• 公開（公告）號: CN103514258A
• 公開（公告）日: 2014-01-15
• 發明（設計）人: 丁亞軍
• 申請（專利權）人: 北京龍存科技有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于離線緩存文件操作集中記錄預處理并重放的方法，包括以下步驟：

A、應用服務器端將文件操作信息記錄到本地；

B、應用服務器端對文件操作做預處理，刪除并合并文件元數據相關操作和數據；

C、應用服務器端將預處理后的文件系統操作日志上傳至元數據服務器重放，將文件內容數據按照元數據的指令上傳到對應的存儲服務器上。

2.根據權利要求1所述的一種基于離線緩存文件操作集中記錄預處理并重放的方法，其特征在于，所述步驟A具體包括：

A1、開辟緩存：在應用服務器端，開辟一個內核態緩存，用于記錄所有針對臨時文件的操作文件系統操作日志，包括文件的創建、屬性修改、文件內容的增刪改查操作，同時開辟一塊緩存存放數據緩存日志，用于記錄被操作的文件內容；

A2、記錄文件操作：所有文件操作相關的系統調用，在操作系統內核態，都先記錄在本地緩存中，而非直接與元數據服務器、存儲服務器通信，所有針對元數據的操作，記錄在文件系統操作日志中；針對文件內容的操作，記錄在數據緩存日志中。

3.根據權利要求1所述的一種基于離線緩存文件操作集中記錄預處理并重放的方法，其特征在于，所述步驟B具體包括：積累到一定記錄后，應用服務器首先在內核態中，按照時間順序預處理文件系統操作日志，找到其中可以抵銷的操作，將其刪除；找到可以合并的操作，將其合并；

4.根據權利要求1所述的一種基于離線緩存文件操作集中記錄預處理并重放的方法，其特征在于，所述步驟C具體包括：

C1、預處理后的文件系統操作日志在元數據服務器上重放：將預處理后的文件元數據操作文件系統操作日志上傳到元數據服務器，元數據服務器收到該日志后，將其在按照時間順序重放，并完成日志中的操作；

C2、將預處理后的數據緩存日志上傳到對應的存儲服務器中：元數據完成文件系統操作日志的處理之后，應用服務器根據元數據服務器的指令，將預處理后的文件數據緩存日志分別上傳給對應的存儲服務器。