[發明專利]一種分布式文件處理方法、裝置及系統

無效

• 申請號: 201310352002.2
• 申請日: 2013-08-13
• 公開（公告）號: CN103399941A
• 公開（公告）日: 2013-11-20
• 發明（設計）人: 袁峰;李引;陳升東;盧振興
• 申請（專利權）人: 廣州中國科學院軟件應用技術研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

技術領域

本申請涉及計算機應用技術領域，特別涉及一種分布式文件處理方法、裝置及系統。

背景技術

隨著企業的業務種類和數據不斷增多，信息化的文件數據量以爆炸性的趨勢增長，而單純的通過對文件存儲硬件設備進行升級或提高硬件設計的性能來解決存儲空間不足的問題時，必然會導致系統成本的巨額增加，管理難度加大，無法廣泛應用。

目前，主流的文件存儲解決方案是使用分布式存儲系統來代替傳統的存儲系統。如圖1中所示，分布式存儲系統中包括元數據服務器和多個存儲服務器，元數據服務器用來存儲整個文件系統的元數據，該元數據即為每個存儲服務器中存儲文件的文件目錄及文件地址等文件關鍵信息，該元數據服務器負責整個存儲系統中所有文件的命名空間及用戶對文件的訪問，存儲服務器即負責管理器自身節點上的存儲文件，其中，文件在存儲時通常先將大文件分成一個或多個文件塊，再將這些文件塊存儲至存儲服務器中。

但上述方案中，由元數據服務器處理對文件的訪問請求，包括接收請求及對請求中的文件寫入、讀取等操作，在請求較多時，元數據服務器存在低延時甚至宕機情況，降低文件處理的效率。

發明內容

本申請所要解決的技術問題是提供一種分布式文件處理方法、裝置及系統，用以解決現有技術中由元數據服務器處理對文件的訪問請求，在請求較多時元數據服務器存在低延時甚至宕機情況，降低文件處理效率的技術問題。

本申請提供了一種分布式文件處理方法，包括：

接收用戶的文件處理請求，所述文件處理請求包括待處理文件的文件標識；

獲取元數據服務器中與所述文件標識相對應的文件操作信息；

對所述待處理文件執行與所述文件操作信息相對應的操作動作。

上述方法，優選的，所述文件處理請求包括文件寫入請求，其中：

所述對所述待處理文件執行與所述文件操作信息相對應的操作動作，包括：

提取所述文件操作信息中的文件分塊規則及所述待處理文件被分塊寫入的寫入地址；

依據所述文件分塊規則，將所述待處理文件進行文件塊劃分，得到至少一個待寫入文件塊；

將每個所述待寫入文件塊按照其各自對應的寫入地址寫入至對應的存儲服務器中。

上述方法，優選的，在所述得到至少一個待寫入文件塊之后，在所述將每個所述待寫入文件塊按照其各自對應的寫入地址寫入至對應的存儲服務器中之前，所述方法還包括：

分別對每個所述待寫入文件塊進行加密和/或壓縮。

上述方法，優選的，所述文件處理請求包括文件讀取請求，其中：

所述對所述待處理文件執行與所述文件操作信息相對應的操作動作，包括：

提取所述文件操作信息中所述待處理文件對應的至少一個文件塊的存儲地址；

在每個所述存儲地址對應的存儲服務器中，分別讀取與每個所述存儲地址相對應的目標文件塊；

將讀取到的每個所述目標文件塊進行合并，得到目標文件。

上述方法，優選的，在所述分別讀取與每個所述存儲地址相對應的目標文件塊之后，在所述將讀取到的每個所述文件塊進行合并之前，所述方法還包括：

分別對每個所述目標文件塊進行解壓和/或解密。

上述方法，優選的，所述文件處理請求包括文件刪除請求，其中：

所述對是待處理文件執行與所述文件操作信息相對應的操作動作，包括：

提取所述文件操作信息中所述待處理文件對應的至少一個文件塊的目標地址；

在每個所述目標地址對應的存儲服務器中，分別刪除與每個所述目標地址相對應的存儲文件塊。

上述方法，優選的，所述方法還包括：

監測所述元數據服務器及存儲服務器的當前工作狀態；

判斷所述當前工作狀態是否超出預設閥值范圍，如果是，生成表明系統發生異常的報警信息。

本申請還提供了一種分布式文件處理裝置，包括：

請求接收單元，用于接收用戶的文件處理請求，所述文件處理請求包括待處理文件的文件標識；

信息獲取單元，用于獲取元數據服務器中與所述文件標識相對應的文件操作信息；

文件操作單元，用于對所述待處理文件執行與所述文件操作信息相對應的操作動作。

上述裝置，優選的，所述文件處理請求包括文件寫入請求，其中，所述文件操作單元包括：

第一提取子單元，用于提取所述文件操作信息中的文件分塊規則及所述待處理文件被分塊寫入的寫入地址；