[發明專利]一種基于分布式文件系統的大數據存儲訪問系統及方法

有效

• 申請號: 201410602562.3
• 申請日: 2014-10-31
• 公開（公告）號: CN104320401B
• 公開（公告）日: 2018-06-22
• 發明（設計）人: 王少華
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 楊立

本發明公開了一種基于分布式文件系統的大數據存儲訪問系統及方法，其中，基于分布式文件系統的大數據存儲訪問系統包括分布式文件系統，所述分布式文件系統包括元數據服務器、存儲服務器集群、訪問客戶端及日志服務器；所述元數據服務器對分布式文件系統中的元數據信息及對所述存儲服務器集群進行管理監控；所述存儲服務器集群將元數據信息中包含的數據存儲在存儲服務器集群的若干個數據存儲節點；所述日志服務器對所述元數據服務器中的元數據信息進行備份并實時同步元數據服務器的操作日志；所述訪問客戶端用于根據元數據服務器的連接狀態，選擇通過元數據服務器或日志服務器中的備用元數據服務進程訪問存儲服務器集群。

技術領域

本發明涉及數據存儲訪問技術領域，具體涉及一種基于分布式文件系統的大數據存儲訪問系統及方法。

背景技術

基于hadoop的Namenode(即管理節點)用于生產環境時，存儲單點問題。目前解決這一問題的方案主要是：將Namenode的元數據信息存儲在NFS(Network File System，網絡文件系統)上，Namenode的主、備進程所在的主機都作為NFS的客戶端，分別能夠訪問NFS上存儲的元數據信息。當Namenode的主節點進程退出后，主進程所維護的元數據存儲在NFS上，Namenode的備節點進程依然可以正常訪問NFS上的元數據，這樣Namenode的備節點進程就完全接管了Namenode的主節點進程的工作了。

采用NFS管理文件存儲，管理節點服務端容易遇到磁盤瓶頸、帶寬瓶頸，影響業務響應速度；管理節點服務端存儲空間不能動態擴展等問題。

第一，管理節點服務端磁盤易遇到瓶頸：數據統一存儲在管理節點服務端磁盤上，多個不同的訪問客戶端同時發起數據訪問請求，管理節點服務端磁盤容易遇到瓶頸，影響性能。

第二，管理節點服務端帶寬易遇到瓶頸：數據是統一存儲在管理節點服務端磁盤上的，多個不同訪問客戶端同時發起數據訪問請求時，流向不同訪問客戶端的數據都要從管理節點服務端網卡流出，管理節點服務端帶寬容易容易達到瓶頸，影響性能。

第三，管理節點服務端存儲空間不能動態擴展：數據只能存儲在管理節點服務端某目錄下，當管理節點服務端存儲空間不夠進行擴展時需停止共享服務。擴展存儲空間后，再次啟動存儲空間，擴展的過程需要停止上層應用系統。

第四，管理節點服務端單點問題：數據存儲在管理節點服務端，服務端發生斷網、宕機，所有訪問客戶端都不能再訪問服務端上的數據，應用業務會隨著服務端故障而發生故障，業務會停止服務。

發明內容

本發明所要解決的技術問題是提供一種基于分布式文件系統的大數據存儲訪問系統及方法，能夠解決大數據存儲訪問過程中管理服務器單點問題。

依據本發明的一個方面，提供了一種基于分布式文件系統的大數據存儲訪問系統，包括分布式文件系統，所述分布式文件系統包括元數據服務器、存儲服務器集群、訪問客戶端及日志服務器；

所述元數據服務器用于對分布式文件系統中的元數據信息進行管理及對所述存儲服務器集群進行管理監控；

所述存儲服務器集群用于按照預定規則將元數據信息中包含的數據存儲在存儲服務器集群的若干個數據存儲節點；

所述日志服務器用于對所述元數據服務器中的元數據信息按照預定時間間隔進行備份并實時同步元數據服務器的操作日志；

所述訪問客戶端用于根據元數據服務器的連接狀態，選擇通過元數據服務器或日志服務器中的備用元數據服務進程訪問存儲服務器集群。

依據本發明的另一個方面，提供了一種基于分布式文件系統的大數據存儲訪問方法，包括：

按照預定規則將元數據中包含的數據存儲在存儲服務器集群的若干個存儲節點，并由元數據服務器對元數據信息及所述存儲服務器集群進行管理監控；