[發明專利]一種基于分布式文件系統的數據訪問方法和裝置

有效

• 申請號: 201811521787.0
• 申請日: 2018-12-13
• 公開（公告）號: CN109783462B
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 陽小鮮;劉力
• 申請（專利權）人: 創新科技術有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

本發明提供了一種基于分布式文件系統的數據訪問方法和裝置，所述分布式文件系統中，每個客戶端設備的每一網口配置有獨立IP地址，每個存儲服務節點的每一網口配置有獨立IP地址；該方法應用于任一客戶端設備，包括：預先基于該客戶端設備中各網口的IP地址和每個存儲服務節點中的各網口的IP地址，建立該客戶端設備到該存儲服務節點的IP連接池；接收用戶的數據訪問請求；確定該數據訪問請求的各目標數據塊；針對該數據訪問請求的每一目標數據塊，向元數據服務器請求該目標數據塊所在存儲服務地址，基于該客戶端設備到該存儲服務地址所在存儲服務節點的IP鏈接池，對該存儲服務地址的目標數據塊進行訪問。

技術領域

本發明涉及存儲技術領域，特別涉及一種基于分布式文件系統的數據訪問方法和裝置。

背景技術

參見圖1，圖1是現有技術分布式文件系統的架構圖，如圖1所示，分布式文件系統中包括多個客戶端設備、元數據服務器、以及多個存儲服務節點。其中，各存儲服務節點中有一個或多個磁盤，這些磁盤空間在分布式文件系統中統一編址。

現有分布式文件系統的數據訪問(包括讀數據和寫數據)過程如下：用戶向客戶端發送數據訪問請求；客戶端接收到上述數據訪問請求后，向元數據服務器發送請求得到該數據訪問請求的目標數據塊所在存儲服務地址；客戶端對該存儲服務地址的目標數據塊進行訪問。

現有對分布式文件系統的整個數據訪問過程中，需要多次網絡操作，網絡吞吐量是整個分布式文件系統的瓶頸。

發明內容

有鑒于此，本發明的目的在于提供一種基于分布式文件系統的數據訪問方法和裝置，通過提高分布式文件系統的網絡吞吐量，提高對分布式文件系統的訪問性能。

為了達到上述目的，本發明提供了如下技術方案：

一種基于分布式文件系統的數據訪問方法，所述分布式文件系統中包括多個客戶端設備、元數據服務器、和多個存儲服務節點，其中，每個客戶端設備的每一網口配置有獨立IP地址，每個存儲服務節點的每一網口配置有獨立IP地址；該方法應用于任一客戶端設備，包括：

預先基于該客戶端設備中各網口的IP地址和每個存儲服務節點中的各網口的IP地址，建立該客戶端設備到每個存儲服務節點的IP連接池；

接收用戶的數據訪問請求；

從元數據服務器獲取該數據訪問請求的目標數據的起始地址和長度，根據該目標數據的起始地址和長度將該目標數據切分為多個目標數據塊；

針對該數據訪問請求的每一目標數據塊，向元數據服務器請求該目標數據塊所在存儲服務地址，基于該客戶端設備到該存儲服務地址所在存儲服務節點的IP連接池，對該存儲服務地址的目標數據塊進行訪問。

一種基于分布式文件系統的數據訪問裝置，所述分布式文件系統中包括多個客戶端設備、元數據服務器、和多個存儲服務節點，其中，每個客戶端設備的每一網口配置有獨立IP地址，每個存儲服務節點的每一網口配置有獨立IP地址；該裝置應用于任一客戶端設備，包括：

建立單元，用于預先基于該客戶端設備中各網口的IP地址和每個存儲服務節點中的各網口的IP地址，建立該客戶端設備到每個存儲服務節點的IP連接池；

接收單元，用于接收用戶的數據訪問請求；

處理單元，用于從元數據服務器獲取該數據訪問請求的目標數據的起始地址和長度，根據該目標數據的起始地址和長度將該目標數據切分為多個目標數據塊；用于針對該數據訪問請求的每一目標數據塊，向元數據服務器請求該目標數據塊所在存儲服務地址，基于該客戶端設備到該存儲服務地址所在存儲服務節點的IP連接池，對該存儲服務地址的目標數據塊進行訪問。