[發明專利]一種基于分布式文件系統的數據處理方法及裝置

有效

• 申請號: 201910255050.7
• 申請日: 2019-04-01
• 公開（公告）號: CN109977079B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 趙晶明;沈逸岑
• 申請（專利權）人: 泰州清潤環保科技有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/182;G06F16/11
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于分布式文件系統的數據處理方法及裝置，通過對分布式文件系統的讀寫方法進行優化，在客戶端調用文件創建系統類的創建命令，調用寫命令進行寫文件操作，得到文件；文件系統輸出數據流向主節點申請數據塊，返回一個本地數據塊對象；根據返回的所述本地數據塊對象，與相應的數據節點進行通信，建立數據流，將所述客戶端的文件內容切割成一個一個塊，寫入到所述數據流中；獲得數據節點返回的寫入成功信息后，向所述客戶端返回寫文件成功信息，從而解決了現有技術中分布式文件系統的數據讀寫時間較長、處理效率低下等技術問題。

技術領域

本發明涉及數據處理技術領域，特別涉及一種基于分布式文件系統的數據處理方法及裝置。

背景技術

以移動互聯網技術、人工智能技術和虛擬現實技術等為代表的新興信息技術極大地改變了人類認知和生活方式。越來越多圍繞個人行為、活動的信息被數字化的同時也被持久化存儲下來，引起了數據量的急劇增長。數據量的急劇增加給存儲系統帶來了巨大壓力。首先，單服務器和磁盤陣列的傳統存儲方法己經不能滿足許多存儲場景的需求，分布式存儲系統具有更大的存儲空間和更靈活的擴展方式;其次，以歸檔存儲為代表的冷數據存儲需求增大，使用廉價、通用的存儲設備可靠地保存數據成為冷、溫數據存儲的重要方式。

目前以云存儲和歸檔存儲為代表的分布式存儲系統是較為常用的存儲方式。但由于上述數據信息數據量較大，實時讀寫數據量大，處理端數據處理能力缺乏，導致分布式文件系統的數據讀寫時間較長、處理效率低下。因此，亟待提出一種針對上述數據進行數據處理的方法。

發明內容

本發明實施例提供了一種基于分布式文件系統的數據處理方法及裝置，將數據讀寫進行優化處理，從而解決了現有技術中分布式文件系統的數據讀寫時間較長、處理效率低下等技術問題。

為了解決上述技術問題，本發明公開了如下技術方案：

第一方面，提供了一種基于分布式文件系統的數據處理方法，所述方法包括寫數據，具體為：

客戶端調用文件創建系統類的創建命令，所述文件創建系統類返回一個文件系統輸出數據流給所述客戶端；

所述客戶端得到所述文件系統輸出數據流之后，調用寫命令進行寫文件操作，得到文件；

所述文件系統輸出數據流接收到客戶端的所述文件，寫入分布式文件系統之前，向主節點申請數據塊，調用遠程接口中的增加數據塊命令，返回一個本地數據塊對象；

所述文件系統輸出數據流根據返回的所述本地數據塊對象，與相應的數據節點進行通信，建立數據流，將所述客戶端的文件內容切割成一個一個塊，寫入到所述數據流中；

所述文件系統輸出數據流獲得數據節點返回的寫入成功信息后，就會向所述客戶端返回寫文件成功信息；

所述客戶端就會調用關閉命令，關閉所述數據流連接，文件系統輸出數據流收到客戶端的關閉命令，通知主節點關閉文件，完成一次文件寫入流程。

進一步的，所述方法包括讀數據，具體為：所述客戶端通過所述文件創建系統類的打開命令打開文件，相對應的所述文件創建系統類就會返回一個文件系統輸出數據流給客戶端。

所述客戶端調用所述主節點的遠程調用接口的取數據塊地址命令，獲得所述文件第一個數據塊的保存地址；

調用所述文件系統輸出數據流的讀取命令讀取文件數據；

所述文件系統輸出數據流和數據節點建立連接，調用數據節點的讀數據接口讀取數據塊；

當讀取完該數據塊后，如果文件尚未讀取完，繼續調用取數據塊地址命令獲得下一個數據塊的地址；

所述文件系統輸出數據流和存儲所述數據塊的數據節點進行通信，讀取數據塊內容。