[發明專利]分布式文件系統的海量文件寫方法、裝置、系統及介質

有效

• 申請號: 201911386425.X
• 申請日: 2019-12-29
• 公開（公告）號: CN111177105B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 牛勇剛;胡永剛
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/18;G06F16/172;G06F16/13
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉志紅

1.一種分布式文件系統的海量文件寫方法，其特征在于，包括：

接收用戶寫入的數據，并將所述數據緩存至客戶端中；

判斷所述客戶端中當前緩存的數據總量是否達到預設的客戶端緩存閾值，若達到，則確定所述用戶寫入的文件為大文件，將當前緩存的所有數據及之后接收到的數據全部寫入至HDD磁盤中，直至接收到所述用戶輸入的文件關閉請求；

若未達到，則判斷是否接收到所述用戶輸入的文件關閉請求，若收到，則確定用戶寫入的文件為小文件，將當前緩存的所有數據寫入至SDD磁盤中；若未收到，則返回執行所述接收用戶寫入的數據，并將所述數據緩存至客戶端中的步驟；其中：

還包括：

當將所述客戶端中當前緩存的所有數據寫入至相應的磁盤后，刪除所述客戶端中當前緩存的所有數據。

2.根據權利要求1所述的分布式文件系統的海量文件寫方法，其特征在于，在所述接收用戶寫入的數據，并將所述數據緩存至客戶端中之前，還包括：

接收用戶輸入的文件創建指令后，從元數據服務器中查詢預先存儲的小文件策略信息，所述小文件策略信息包括小文件大小閾值；

依據所述小文件策略信息確定所述客戶端緩存閾值。

3.根據權利要求2所述的分布式文件系統的海量文件寫方法，其特征在于，在接收用戶輸入的文件創建指令之前，還包括：

接收到用戶輸入的小文件策略信息，并將所述小文件策略信息發送至所述元數據服務器進行存儲。

4.一種分布式文件系統的海量文件寫裝置，其特征在于，包括：

第一接收模塊，用于接收用戶寫入的數據，并將所述數據緩存至客戶端中；

第一判斷模塊，用于判斷所述客戶端中當前緩存的數據總量是否達到預設的客戶端緩存閾值，若達到，則觸發第一寫入模塊；若未達到，則觸發第二判斷模塊；

所述第一寫入模塊，用于確定所述用戶寫入的文件為大文件，將當前緩存的所有數據及之后接收到的數據全部寫入至HDD磁盤中，直至接收到所述用戶輸入的文件關閉請求；

所述第二判斷模塊，用于判斷是否接收到所述用戶輸入的文件關閉請求，若收到，則觸發第二寫入模塊；若未收到，則觸發所述第一接收模塊；

所述第二寫入模塊，用于確定用戶寫入的文件為小文件，將當前緩存的所有數據寫入至SDD磁盤中；其中：

還包括：

刪除模塊，用于當將所述客戶端中當前緩存的所有數據寫入至相應的磁盤后，刪除所述客戶端中當前緩存的所有數據。

5.根據權利要求4所述的分布式文件系統的海量文件寫裝置，其特征在于，還包括：

查詢模塊，用于接收用戶輸入的文件創建指令后，從元數據服務器中查詢預先存儲的小文件策略信息，所述小文件策略信息包括小文件大小閾值；

確定模塊，用于依據所述小文件策略信息確定所述客戶端緩存閾值。

6.根據權利要求5所述的分布式文件系統的海量文件寫裝置，其特征在于，還包括：

第二接收模塊，用于接收到用戶輸入的小文件策略信息，并將所述小文件策略信息發送至所述元數據服務器進行存儲。

7.一種分布式文件系統的海量文件寫系統，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至3任意一項所述分布式文件系統的海量文件寫方法的步驟。

8.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至3任意一項所述分布式文件系統的海量文件寫方法的步驟。