[發明專利]一種分布式文件系統磁盤文件讀寫方法、裝置和系統

在審

• 申請號: 201510612563.0
• 申請日: 2015-09-23
• 公開（公告）號: CN105224626A
• 公開（公告）日: 2016-01-06
• 發明（設計）人: 范義波
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

技術領域

本發明涉及分布式文件系統數據傳輸技術領域，特別是涉及一種分布式文件系統磁盤文件讀寫方法、裝置和系統。

背景技術

在分布式文件系統中，通常通過元數據處理模塊來處理客戶端需要寫入磁盤的文件和/或客戶端需要從磁盤讀取的文件的屬性數據，并在將客戶端需要寫入磁盤的文件和/或客戶端需要從磁盤讀取的文件的屬性處理處理完成后，將客戶端需要寫入磁盤的文件傳輸給磁盤和/或將客戶端需要從磁盤讀取的文件傳輸給該客戶端。

目前，在現有的分布式文件系統中，通常僅設置一個元數據處理模塊，僅通過該元數據處理模塊的一個元數據進程來對客戶端需要寫入磁盤的文件和/或客戶端需要從磁盤讀取的文件的屬性數據進行處理并傳輸，導致該元數據處理模塊的數據處理壓力極大，數據處理負載過高，降低了該分布式文件系統中客戶端寫入和/或讀取磁盤文件的速率，同時，也降低了該分布式文件系統中客戶端寫入和/或讀取磁盤文件的可靠性。其中，當客戶端需要寫入磁盤的文件和/或客戶端需要從磁盤讀取的文件以小文件為主時，上述現象將表現得尤為明顯。

發明內容

有鑒于此，本發明實施例提供一種分布式文件系統磁盤文件讀寫方法、裝置和系統，以解決現有技術中通常僅設置一個元數據處理模塊，僅通過該元數據處理模塊的一個元數據進程來對客戶端需要寫入磁盤的文件和/或客戶端需要從磁盤讀取的文件的屬性數據進行處理并傳輸，導致該元數據處理模塊的數據處理壓力極大，數據處理負載過高，降低了該分布式文件系統中客戶端寫入和/或讀取磁盤文件的速率，同時，也降低了該分布式文件系統中客戶端寫入和/或讀取磁盤文件的可靠性的問題。

為實現上述目的，本發明實施例提供如下技術方案：

一種分布式文件系統磁盤文件寫入方法，所述分布式文件系統包括客戶端、元數據處理模塊集群和磁盤，所述元數據處理模塊集群包括至少2個元數據處理模塊，所述分布式文件系統磁盤文件寫入方法包括：

所述元數據處理模塊集群接收所述客戶端發送的文件寫入請求；

根據所述文件寫入請求確定需寫入的磁盤文件，將所有所述需寫入的磁盤文件分配給各所述元數據處理模塊；

控制各所述元數據處理模塊分別將分配的需寫入的磁盤文件發送給所述磁盤進行存儲。

其中，所述將所有所述需寫入的磁盤文件分配給各所述元數據處理模塊前還包括：客戶端確定需寫入的磁盤文件，將各所述需寫入的磁盤文件分別與一元數據處理模塊進行綁定，得到第一磁盤文件綁定策略；

其中，所述將所有所述需寫入的磁盤文件分配給各所述元數據處理模塊包括：確定所述第一磁盤文件綁定策略，根據所述第一磁盤文件綁定策略將各所述需寫入的磁盤文件分配給與其綁定的元數據處理模塊。

其中，述將所有所述需寫入的磁盤文件分配給各所述元數據處理模塊包括：

確定當前所有所述元數據處理模塊的CPU利用率；

將當前待分配的需寫入的磁盤文件分配給當前CPU利用率最低的元數據處理模塊，直到所有所述需寫入的磁盤文件全部被分配。

一種分布式文件系統磁盤文件寫入裝置，包括：第一接收模塊、第一分配模塊和第一發送模塊；其中，

所述第一接收模塊，用于接收客戶端發送的文件寫入請求；

所述第一分配模塊，用于根據所述文件寫入請求確定需寫入的磁盤文件，將所有所述需寫入的磁盤文件分配給各所述元數據處理模塊；

所述第一發送模塊，用于控制各所述元數據處理模塊分別將分配的需寫入的磁盤文件發送給磁盤進行存儲。

一種分布式文件系統磁盤文件讀取方法，所述分布式文件系統包括客戶端、元數據處理模塊集群和磁盤，所述元數據處理模塊集群包括至少2個元數據處理模塊，所述分布式文件系統磁盤文件讀取方法包括：

所述元數據處理模塊集群接收所述客戶端發送的文件讀取請求；

根據所述文件讀取請求確定需讀取的磁盤文件，將所有所述需讀取的磁盤文件分配給各所述元數據處理模塊；

控制各所述元數據處理模塊分別將分配的需讀取的磁盤文件發送給所述客戶端。

其中，所述元數據處理模塊集群接收所述客戶端發送的文件讀取請求前還包括：客戶端確定需讀取的磁盤文件，將各所述需讀取的磁盤文件分別與一元數據處理模塊進行綁定，得到第二磁盤文件綁定策略；

其中，所述將所有所述需讀取的磁盤文件分配給各所述元數據處理模塊包括：確定所述第二磁盤文件綁定策略，根據所述第二磁盤文件綁定策略將各所述需讀取的磁盤文件分配給與其綁定的元數據處理模塊。