[發明專利]一種基于離線緩存文件操作集中記錄預處理并重放的方法

有效

• 申請號: 201310344811.9
• 申請日: 2013-08-09
• 公開（公告）號: CN103514258A
• 公開（公告）日: 2014-01-15
• 發明（設計）人: 丁亞軍
• 申請（專利權）人: 北京龍存科技有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及分布式存儲系統的元數據與文件操作管理方法技術領域，特別涉及一種基于離線緩存文件操作集中記錄預處理并重放的方法。

背景技術

在文件系統中，所有應用程序針對元數據和文件的操作都是按照時間順序依次在元數據和存儲中進行的。這些操作序列可以包括文件的創建、刪除、重命名、加鎖和解鎖、屬性和權限修改、文件的寫入等。當應用程序需要頻繁的創建、寫入、讀取、刪除臨時文件時，就需要頻繁的進行這些操作。

在分布式共享文件系統中，為了實現應用服務器對文件系統的上述操作的支持。使用該文件系統的應用服務器可以采用如下步驟完成操作：

1、連接元數據服務器

2、發送元數據操作的具體內容到元數據服務器

3、元數據服務器完成操作后，通知應用服務器

4、應用服務器收到完成通知后，按照元數據指令，連接存儲服務器

5、應用服務器向存儲服務器發送要存儲的文件中的內容數據

6、應用服務器結束文件內容數據傳輸后，繼續接下來的工作。

對于每一個元數據操作，應用服務器都需要先連接元數據服務器，完成操作，再斷開連接。因為網絡通信延遲高，因此該操作代價很高。

對于文件內容數據的寫入，也同樣需要經過上述的步驟，這會嚴重影響整個應用程序的性能。

Lustre文件系統實現了一個類似的元數據操作本地緩存，上傳元數據重放機制，減少網絡通信的開銷。但是該機制只是簡單的將這些操作上傳到元數據重新播放。對于大量臨時文件的創建，寫入和刪除操作，仍然需要頻繁的與存儲服務器通信。且在元數據服務器上仍然需要多次操作。

發明內容

為了解決現有技術的問題，本發明提供了一種基于離線緩存文件操作集中記錄預處理并重放的方法，其能夠減小與分布式文件系統各個服務器的網絡通信，降低網絡開銷，避免不必要的操作，提升臨時文件的操作性能。

本發明所采用的技術方案如下：

一種基于離線緩存文件操作集中記錄預處理并重放的方法，包括以下步驟：

A、應用服務器端將文件操作信息，及文件內容數據記錄到本地；

B、應用服務器端對文件操作做預處理，刪除并合并文件元數據相關操作和數據；

C、應用服務器端將預處理后的文件系統操作日志上傳至元數據服務器重放，將文件內容數據按照元數據的指令上傳到對應的存儲服務器上。

步驟A具體包括：

A1、開辟緩存：在應用服務器端，開辟一個內核態緩存，用于記錄所有針對臨時文件的操作文件系統操作日志，包括文件的創建、屬性修改、文件內容的增刪改查操作，同時開辟一塊緩存存放數據緩存日志，用于記錄被操作的文件內容；

A2、記錄文件操作：所有文件操作相關的系統調用，在操作系統內核態，都先記錄在本地緩存中，而非直接與元數據服務器、存儲服務器通信，所有針對元數據的操作，記錄在文件系統操作日志中；針對文件內容的操作，記錄在數據緩存日志中。

步驟B具體包括：積累到一定記錄后，應用服務器首先在內核態中，按照時間順序預處理文件系統操作日志，找到其中可以抵銷的操作，將其刪除；找到可以合并的操作，將其合并；

步驟C具體包括：

C1、預處理后的文件系統操作日志在元數據服務器上重放：將預處理后的文件元數據操作文件系統操作日志上傳到元數據服務器，元數據服務器收到該日志后，將其在按照時間順序重放，并完成日志中的操作；

C2、將預處理后的數據緩存日志上傳到對應的存儲服務器中：元數據完成文件系統操作日志的處理之后，應用服務器根據元數據服務器的指令，將預處理后的文件數據緩存日志分別上傳給對應的存儲服務器。

本發明提供的技術方案帶來的有益效果是：

1、進一步減小應用服務器在操作文件時的性能開銷，對于大量臨時文件創建和寫入操作。除避免和元數據通信外，還可以避免將數據保存到存儲服務器、再從存儲服務器上將數據刪除的操作。降低和存儲服務器的通信。

2、提前在本地緩存中對元數據和文件數據的操作進行預處理。找出可以互相抵消的操作序列。例如，實現創建一個臨時文件，寫入少量數據，又在不久后刪除該文件。這種序列可以直接刪除，無需再在元數據服務器和存儲服務器上重放。

附圖說明