[發明專利]一種分布式文件處理方法及裝置

有效

• 申請號: 201611265985.6
• 申請日: 2016-12-30
• 公開（公告）號: CN107070972B
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 徐景良;萬杰;倪遠;任明
• 申請（專利權）人: 中國銀聯股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;H04L12/24
• 代理公司: 11291 北京同達信恒知識產權代理有限公司
• 代理人: 黃志華

本發明涉及數據處理技術領域，公開了一種分布式文件處理方法及裝置，包括：元數據服務器接收終端發送的文件讀寫請求，所述文件讀寫請求是根據所述終端掛載的所述元數據服務器的共享目錄發送的；所述元數據服務器根據所述共享目錄掛載的文件系統，向所述文件系統的存儲集群發送所述文件讀寫請求，所述元數據服務器與所述存儲集群位于同一文件系統集群中。本發明用以解決現有技術中不同操作系統的終端無法接入文件系統，或者接入到文件系統的過程復雜，耗時較長的問題。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種分布式文件處理方法及裝置。

背景技術

作為新興的網絡存儲技術，Ceph提供了一個性能可靠、擴展性好的、統一的、分布式存儲系統，是一個免費開源軟件。不同于Swift只提供對象存儲服務，Ceph同時還提供塊存儲，文件存儲等存儲服務。

Ceph系統可以大致劃分為四部分：client(客戶端)；MDS(元數據服務器，Metadataserver cluster)，用于緩存和同步元數據；osd(Object storage cluster，對象存儲集群)，用于存儲數據；mon(Cluster monitors，集群監控器)，執行監視功能。

對于Ceph文件系統，用戶終端需要在本地安裝相應的客戶端軟件包，并掛載Ceph文件系統，才能對Ceph文件系統進行訪問，現有的Ceph文件系統有兩種掛載方式：基于內核驅動掛載和用戶空間掛載，對應的軟件分別為Ceph-fuse和mount.ceph。對于這兩種掛載方式，在掛載Ceph文件系統之前，均需要進行cephx密鑰認證，并向集群監控器申請服務IP和端口。當集群監控器的監聽端口、服務IP或者cephx認證密鑰發生變化時，客戶端需要相應更改掛載項，并且由于部分操作系統不支持軟件包的安裝，如windows系統或者unix系統，則安裝了這部分操作系統的終端無法接入文件系統，或接入到文件系統的過程相當復雜繁瑣，時間消耗較長。

發明內容

本發明實施例提供一種分布式文件處理方法及裝置，用以解決現有技術中不同操作系統的終端無法接入到文件系統，或接入到文件系統的過程復雜，耗時較長的問題。

本發明實施例提供的分布式文件處理方法包括：

元數據服務器接收終端發送的文件讀寫請求，所述文件讀寫請求是所述終端根據掛載的所述元數據服務器的共享目錄發送的；

所述元數據服務器根據所述共享目錄掛載的文件系統，向所述文件系統的存儲集群發送所述文件讀寫請求，所述元數據服務器與所述存儲集群位于同一文件系統集群中。

可選的，所述元數據服務器包括主節點服務器和備節點服務器；

所述元數據服務器接收終端發送的文件讀寫請求，包括：

所述主節點服務器接收終端發送的文件讀寫請求；

所述元數據服務器接收終端發送的文件讀寫請求之后，還包括：

所述主節點服務器在確定所述文件讀寫請求為多個文件的讀寫請求時，根據所有元數據服務器的工作量，確定出處理所述文件讀寫請求的備節點服務器；

所述主節點服務器將所述文件讀寫請求通過內部傳輸通道發送給所述備節點服務器。

可選的，所述根據所有元數據服務器的工作量，確定出處理所述文件讀寫請求的備節點服務器，包括：

針對一個元數據服務器，所述元數據服務器根據以下公式計算所述元數據服務器的工作量：

G_k＝N_k*T_k