[發明專利]分布式文件系統及控制方法

有效

• 申請號: 201811466884.4
• 申請日: 2018-12-03
• 公開（公告）號: CN111258748B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 顧卿;嚴庭翔;賈棟;裴力;邱曉波;胡可
• 申請（專利權）人: 中國移動通信集團上海有限公司;中國移動通信集團有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/182
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

1.一種分布式文件系統，其特征在于，所述系統包括：控制模塊、任務池以及配置中心；

其中，所述控制模塊用于獲取待執行任務的任務參數，為所述待執行任務配置一任務模塊，將所述任務參數存儲在所述配置中心；

所述任務模塊包括：分配單元以及處理單元；

所述分配單元用于從所述配置中心加載所述任務參數，根據所述任務參數從所述分布式文件系統中獲取所述待執行任務的文件分片，并將所述文件分片發布至任務池中；

所述處理單元用于從所述任務池中獲取所述文件分片，并執行所述待執行任務；

若文件分片的轉移記錄發生異常時，在進程啟動初始化過程之后，執行一次異常檢查和重處理工作，根據狀態記錄可知源文件路徑和目標文件路徑，異常檢查和重處理過程包括：判斷作為源文件的文件分片是否存在，若源文件存在，重新執行該待執行任務；若源文件不存在，不重新執行，并繼續判斷作為目標文件的文件分片是否存在，若源文件不存在，目標文件存在，將該任務標記為異常任務，流程后續服務在獲取到該任務時，針對帶異常標記的任務，進行處理；

轉移記錄包括源目錄以及目標目錄，轉移記錄為從所述源目錄轉移至目標目錄。

2.根據權利要求1所述的分布式文件系統，其特征在于，所述任務模塊還包括：定義單元，用于獲取所述待執行任務并為所述待執行任務配置一任務標識號ID。

3.根據權利要求2所述的分布式文件系統，其特征在于，還包括：

分配存儲單元，用于存儲所述任務池中的文件分片的轉移記錄，所述轉移記錄包括源目錄以及目標目錄；

其中，所述處理單元用于從所述任務池中獲取所述文件分片時，向所述分配存儲單元發送作為目標目錄的任務ID。

4.根據權利要求3所述的分布式文件系統，其特征在于，所述分配單元根據所述任務參數從所述分配存儲單元中獲取所述文件分片的第一源目錄，將所述任務池的地址作為所述文件分片的第一目標目錄，根據所述第一源目錄、第一目標目錄，生成所述文件分片的第一轉移記錄。

5.根據權利要求1所述的分布式文件系統，其特征在于，所述處理單元包括：分片子單元以及處理子單元；其中，

所述分片子單元用于從所述任務池中獲取所述文件分片，并將所述文件分片發送給所述處理子單元；

所述處理子單元用于接收所述文件分片，并從所述分配單元獲取所述任務參數，根據所述任務參數以及所述文件分片執行所述待執行任務。

6.一種分布式文件系統的控制方法，應用于如權利要求1至5中任一項所述的分布式文件系統，其特征在于，所述方法包括：

獲取待執行任務的任務參數，為所述待執行任務配置一任務模塊，將所述任務參數存儲在所述分布式文件系統的配置中心；

控制所述任務模塊從所述配置中心加載所述任務參數，根據所述任務參數從所述分布式文件系統中獲取所述待執行任務的文件分片，并將所述文件分片發布至所述分布式文件系統的任務池中；

以及從所述任務池中獲取所述文件分片，并執行所述待執行任務；

若文件分片的轉移記錄發生異常時，在進程啟動初始化過程之后，執行一次異常檢查和重處理工作，根據狀態記錄可知源文件路徑和目標文件路徑，異常檢查和重處理過程包括：判斷作為源文件的文件分片是否存在，若源文件存在，重新執行該待執行任務；若源文件不存在，不重新執行，并繼續判斷作為目標文件的文件分片是否存在，若源文件不存在，目標文件存在，將該任務標記為異常任務，流程后續服務在獲取到該任務時，針對帶異常標記的任務，進行處理；

轉移記錄包括源目錄以及目標目錄，轉移記錄為從所述源目錄轉移至目標目錄。

7.根據權利要求6所述的分布式文件系統的控制方法，其特征在于，所述從所述任務池中獲取所述文件分片，并執行所述待執行任務的步驟，包括：

從所述任務池中獲取所述文件分片，并從所述分配單元獲取所述任務參數，根據所述任務參數以及所述文件分片執行所述待執行任務。