[發明專利]分布式文件系統的海量文件寫方法、裝置、系統及介質

有效

• 申請號: 201911386425.X
• 申請日: 2019-12-29
• 公開（公告）號: CN111177105B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 牛勇剛;胡永剛
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/18;G06F16/172;G06F16/13
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉志紅

本發明公開了一種分布式文件系統的海量文件寫方法、裝置、系統及計算機可讀存儲介質，包括：接收用戶寫入的數據，并將數據緩存至客戶端中；判斷客戶端中當前緩存的數據總量是否達到預設的客戶端緩存閾值，若達到，則確定用戶寫入的文件為大文件，將當前緩存的所有數據及之后接收到的數據全部寫入至HDD磁盤中，直至接收到用戶輸入的文件關閉請求；若未達到，則判斷是否接收到用戶輸入的文件關閉請求，若收到，則確定用戶寫入的文件為小文件，將當前緩存的所有數據寫入至SDD磁盤中；若未收到，則返回執行接收用戶寫入的數據的步驟；本發明在使用過程中能夠提高小文件寫的性能及文件系統整體性能，進一步滿足用戶需求。

技術領域

本發明實施例涉及分布式文件系統技術領域，特別是涉及一種分布式文件系統的海量文件寫方法、裝置、系統及計算機可讀存儲介質。

背景技術

隨著計算機，信息技術的迅猛發展和應用，行業應用系統的規模迅速擴大，行業應用產生的數據呈爆炸性迅速發展，動輒達到數百TB甚至數十至數百PB規模的行業和企業大數據遠遠超出現有傳統的計算技術和系統處理能力。針對海量數據的場景，分布式系統應運而生。分布式系統目前主要是由三部分組成：1、客戶端負責與用戶交互；2、元數據服務器負責管理元數據信息；3、數據服務器負責管理數據。目前針對數據服務器來說，其主要是管理存儲在硬盤上面的數據，磁盤主要有HDD和SDD兩種，HDD是傳統的非易失性存儲器，SDD是固態硬盤。SDD相對于HDD的讀寫性能要高的很多，但是SDD的價格高，部署的成本較高。

對于分布式文件系統來說，其內部有大文件也有小文件，單純為了提高讀寫性能，大小文件可以全部使用SDD盤作為存儲盤，但是這樣分布式系統部署成本較高；如果大小文件單純使用HDD盤作為存儲盤又很難滿足性能需求，尤其是小文件，其特點是占用空間小，但是文件量大，讀寫比較消耗磁盤性能。由于在文件系統寫入是一邊寫入一邊向磁盤刷入數據，文件的大小在寫入未完成時很難準確判斷出來，難以實現對大小文件的分別存儲，目前不論文件大小只能夠按照預先指定的存儲位置將文件存儲至指定的磁盤中，很難滿足用戶對小文件讀寫性能的需求。

鑒于此，如何提供一種解決上述技術問題的分布式文件系統的海量文件寫方法、裝置、系統及計算機可讀存儲介質成為本領域技術人員需要解決的問題。

發明內容

本發明實施例的目的是提供一種分布式文件系統的海量文件寫方法、裝置、系統及計算機可讀存儲介質，在使用過程中能夠提高小文件寫的性能及文件系統整體性能，進一步滿足用戶需求。

為解決上述技術問題，本發明實施例提供了一種分布式文件系統的海量文件寫方法，包括：

接收用戶寫入的數據，并將所述數據緩存至客戶端中；

判斷所述客戶端中當前緩存的數據總量是否達到預設的客戶端緩存閾值，若達到，則確定所述用戶寫入的文件為大文件，將當前緩存的所有數據及之后接收到的數據全部寫入至HDD磁盤中，直至接收到所述用戶輸入的文件關閉請求；

若未達到，則判斷是否接收到所述用戶輸入的文件關閉請求，若收到，則確定用戶寫入的文件為小文件，將當前緩存的所有數據寫入至SDD磁盤中；若未收到，則返回執行所述接收用戶寫入的數據，并將所述數據緩存至客戶端中的步驟。

可選的，在所述接收用戶寫入的數據，并將所述數據緩存至客戶端中之前，還包括：

接收用戶輸入的文件創建指令后，從元數據服務器中查詢預先存儲的小文件策略信息，所述小文件策略信息包括小文件大小閾值；

依據所述小文件策略信息確定所述客戶端緩存閾值。

可選的，在接收用戶輸入的文件創建指令之前，還包括：

接收到用戶輸入的小文件策略信息，并將所述小文件策略信息發送至所述元數據服務器進行存儲。

可選的，還包括：