[發明專利]一種基于分布式文件系統的數據處理方法及裝置

有效

• 申請號: 201910255050.7
• 申請日: 2019-04-01
• 公開（公告）號: CN109977079B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 趙晶明;沈逸岑
• 申請（專利權）人: 泰州清潤環保科技有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/182;G06F16/11
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于分布式文件系統的數據處理方法，其特征在于，所述方法包括寫數據，具體為：

客戶端調用文件創建系統類的創建命令，所述文件創建系統類返回一個文件系統輸出數據流給所述客戶端；主節點執行同名方法在命名空間中創建一個新的文件，并且進行一系列的檢查確保創建成功，并將創建操作記錄到創建日志中；

所述客戶端得到所述文件系統輸出數據流之后，調用寫命令進行寫文件操作，得到文件；

所述文件系統輸出數據流接收到客戶端的所述文件，寫入分布式文件系統之前，向主節點申請數據塊，調用遠程接口中的增加數據塊命令，返回一個本地數據塊對象；

所述文件系統輸出數據流根據返回的所述本地數據塊對象，與相應的數據節點進行通信，建立數據流，將所述客戶端的文件內容切割成一個一個塊，寫入到所述數據流中；

數據節點會根據主節點返回的本地數據塊對象中的信息，建立一條數據流管道，從頭節點到尾節點依次保存文件系統輸出數據流寫入的數據；當最后一個數據節點保存數據成功后，會沿著數據流管道逆流而上，添加寫入成功信息到信息表中，最后將信息表返回給文件系統輸出數據流；同時，數據節點在保存數據成功后，會調用主節點的遠程調用接口的數據塊接收命令，向其匯報新增數據塊信息，讓主節點更新第二關系；文件系統輸出數據流獲得數據節點返回的信息表后，就會向客戶端返回真值表示寫文件成功；

所述客戶端就會調用關閉命令，關閉所述數據流連接，文件系統輸出數據流收到客戶端的關閉命令，通知主節點關閉文件，完成一次文件寫入流程；

其中，所述方法包括讀數據，具體為：所述客戶端通過所述文件創建系統類的打開命令打開文件，相對應的所述文件創建系統類就會返回一個文件系統輸出數據流給客戶端；

所述客戶端調用所述主節點的遠程調用接口的取數據塊地址命令，獲得所述文件第一個數據塊的保存地址；

調用所述文件系統輸出數據流的讀取命令讀取文件數據；

所述文件系統輸出數據流和數據節點建立連接，調用數據節點的讀數據接口讀取數據塊；

當讀取完該數據塊后，如果文件尚未讀取完，繼續調用取數據塊地址命令獲得下一個數據塊的地址；

所述文件系統輸出數據流和存儲所述數據塊的數據節點進行通信，讀取數據塊內容；

重復上述讀取數據塊過程，直到文件讀取完畢，所述客戶端調用關閉命令關閉數據流；

上述寫數據和讀數據過程中，利用處理器GPU單元建立多個線程并行處理單元，多個線程并行處理單元中的一個線程并行處理單元對應于一個數據處理任務。

2.根據權利要求1所述的方法，其特征在于，進一步的，其中在所述寫數據之前：將分布式文件系統中的小文件根據分布式文件系統的歸檔方法得到歸檔大文件。