[發明專利]一種在計算機集群環境中構建分布式文件系統及方法

有效

• 申請號: 201710042891.0
• 申請日: 2017-01-20
• 公開（公告）號: CN106713493B
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 朱紅;劉羽;金蓮;任丹琴
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 張亮

本發明提供一種在計算機集群環境中構建分布式文件系統及方法，管理節點，存儲節點，交換機，計算節點，IP地址設置模塊，掛載模塊；每個管理節點，每個存儲節點及多個計算節點通過交換機連接到一起；管理節點用于使用戶通過管理節點登錄，并使用計算節點上的計算資源；存儲節點的數據共享給集群中的所有計算節點和管理節點使用；在每個存儲節點上部署ssh協議的服務器端守護進程sshd服務；在每個計算節點和每個管理節點上部署用戶空間文件系統；在每個計算節點和每個管理節點上部署sshfs服務；系統可以較好的規避NFS文件系統在使用中潛在的問題。從而可以替代NFS在計算機集群中的相關功能。

技術領域

本發明涉及計算機文件處理領域，尤其涉及一種在計算機集群環境中構建分布式文件系統及方法。

背景技術

計算機集群(computercluster)是指通過網絡連接的一些計算節點組成的整體，這些計算節點通過軟件調度協同工作，使得整個集群的運行模式如同一臺單一計算機一樣。當前，計算機集群技術現在已經廣泛的應用于大數據、云計算、高性能計算等多個IT領域。

分布式文件系統(distributedfile system)是計算機集群，特別是高性能計算集群系統中常見的組成部分，通過分布式文件系統，集群中的計算節點可以共享位于其他節點上的數據。在高性能計算集群中，一種常見的分布式文件系統是NFS(networkfilesystem)協議，NFS協議允許客戶端計算機(client)通過計算機網絡像訪問本地存儲一樣訪問其他計算機上通過NFS協議共享的文件。

當前，NFS協議已經被廣泛的應用在高性能計算集群中。一種常見的使用方式是通過NFS協議把存儲節點上的/home目錄在集群中共享，計算節點通過mount的方式即可以掛載該目錄并讀寫其中的數據。從而實現整個計算機集群共享同一個/home目錄的效果。對于當前主流的NFS文件共享方式，Server端的共享和Client端的掛載都只能通過root權限完成，限制了普通用戶進行操作的可能。一旦client端的掛載完成，client端就具有了對整個掛載目錄的操作權限，存在一定的安全風險。

發明內容

為了克服上述現有技術中的不足，本發明提供一種在計算機集群環境中構建分布式文件方法，在計算機集群環境中構建分布式文件系統，系統包括：至少一個管理節點，至少一個存儲節點，交換機，至少一個計算節點，IP地址設置模塊，掛載模塊，用戶注冊模塊；

管理節點，存儲節點及計算節點通過交換機連接到一起；

管理節點用于使用戶通過管理節點登錄，并使用計算節點上的計算資源；

存儲節點的數據共享給集群中的所有計算節點和管理節點使用；

IP地址設置模塊用于對每個管理節點，每個存儲節點，每個計算節點設置IP地址；

每個管理節點，每個存儲節點及每個計算節點均部署操作系統；

在每個存儲節點上部署ssh協議的服務器端守護進程sshd服務；

在每個計算節點和每個管理節點上部署用戶空間文件系統；

在每個計算節點和每個管理節點上部署sshfs服務；

掛載模塊用于集群中的任意用戶在存儲節點中存儲的數據通過sshfs服務掛載到計算節點和管理節點上的對應目錄下；

用戶注冊模塊用于使系統提供普通用戶注冊客戶端及root用戶注冊客戶端；普通用戶注冊客戶端提供給用戶注冊普通用戶賬戶及密碼，root用戶注冊客戶端提供給用戶注冊root用戶賬戶及密碼；

普通用戶使用sshfs服務卸載以該用戶權限掛載在計算節點和管理節點上的目錄；

root用戶把存儲節點中的數據掛載到計算節點和管理節點上的對應目錄下；