[發明專利]數據訪問方法、數據存儲方法、裝置和文件存儲系統

在審

• 申請號: 202010965297.0
• 申請日: 2020-09-14
• 公開（公告）號: CN112100129A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 黎海兵
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/176;G06F16/182
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 榮穎佳

本發明提供了一種數據訪問方法、數據存儲方法、裝置和文件存儲系統；其中，該數據訪問方法包括：基于文件存儲系統中，文件目錄管理分片與數據卷的對應關系，確定待訪問文件所屬的第一目標數據卷所屬的文件目錄管理分片；文件存儲系統設置有多個文件目錄管理分片；每個文件目錄管理分片管理指定數據卷中文件的元數據；基于從第一目標數據卷所屬的文件目錄管理分片中獲取的待訪問文件的元數據，訪問待訪問文件。該方式中，文件存儲系統中設置有多個文件目錄管理分片，當文件量較大時，文件目標管理分片可以水平擴容，避免了單個文件目錄管理節點中存儲文件的元數據的數量有限的問題，提高了系統存儲文件的數量和總數據量。

技術領域

本發明涉及文件存儲技術領域，尤其是涉及一種數據訪問方法、數據存儲方法、裝置和文件存儲系統。

背景技術

HDFS(Hadoop Distributed File System，Hadoop分布式文件系統)是目前比較典型的、使用比較廣泛的開源分布式文件存儲系統。在HDFS系統中，所有文件的元數據存儲在NameNode節點，該NameNode節點的內存空間有限，因而該NameNode節點中可以存儲的文件的元數據的數量有限，限制了系統整體可以存儲的文件的總數量和總數據量。

發明內容

有鑒于此，本發明的目的在于提供一種數據訪問方法、數據存儲方法、裝置和文件存儲系統，以提高系統存儲文件的數量和總數據量。

第一方面，本發明實施例提供了一種數據訪問方法，方法包括：基于數據訪問請求，確定待訪問文件所屬的第一目標數據卷；基于文件存儲系統中，文件目錄管理分片與數據卷的對應關系，確定第一目標數據卷所屬的文件目錄管理分片；其中，文件存儲系統中設置有多個文件目錄管理分片；每個文件目錄管理分片用于管理指定數據卷中文件的元數據；從第一目標數據卷所屬的文件目錄管理分片中，獲取待訪問文件的元數據；基于待訪問文件的元數據，訪問待訪問文件。

進一步的，每個文件目錄管理分片包括多個文件目錄管理節點；多個文件目錄管理節點包括一個主用文件目錄管理節點和至少一個備用文件目錄管理節點；其中，主用文件目錄管理節點用于提供待訪問文件的元數據；備用文件目錄管理節點與主用文件目錄管理節點的數據同步。

進一步的，多個文件目錄管理節點中的主用文件目錄管理節點，基于預設的raft協議確定；備用文件目錄管理節點的數據，通過預設的raft協議與主用文件目錄管理節點的數據同步。

進一步的，文件存儲系統中設置有多個文件存儲集群；待訪問文件的元數據包括待訪問文件的文件數據所在的文件存儲集群；基于待訪問文件的元數據，訪問待訪問文件的步驟，包括：從待訪問文件所屬的文件存儲集群中，獲取待訪問文件。

進一步的，文件存儲集群包括集群管理節點和數據存儲節點；集群管理節點中存儲有文件存儲集群中保存的各個文件的文件數據與數據存儲節點的對應關系；從待訪問文件所屬的文件存儲集群中，獲取待訪問文件的步驟，包括：通過待訪問文件所屬的文件存儲集群的集群管理節點，確定待訪問文件的文件數據所在的目標數據存儲節點；從目標數據存儲節點中獲取待訪問文件的文件數據。

進一步的，每個文件存儲集群包括多個集群管理節點；多個集群管理節點包括一個主用集群管理節點和至少一個備用集群管理節點；其中，主用集群管理節點用于提供待訪問文件的文件數據所在的目標數據存儲節點；備用集群管理節點與主用集群管理節點的數據同步。

進一步的，文件存儲系統中設置有數據持久化服務；數據持久化服務用于提供文件目錄管理分片與數據卷的對應關系；基于數據訪問請求，確定待訪問文件所屬的第一目標數據卷的步驟之前，方法還包括：通過數據持久化服務，獲取文件目錄管理分片與數據卷的對應關系。