[發明專利]一種分布式文件數據訪問方法及系統

在審

• 申請號: 201710846280.1
• 申請日: 2017-09-19
• 公開（公告）號: CN107612910A
• 公開（公告）日: 2018-01-19
• 發明（設計）人: 林昭文;唐煜;孫溢;徐潔;張煜東;賈哲
• 申請（專利權）人: 北京郵電大學;中國電子科技集團公司第五十四研究所
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;G06F17/30
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 王瑩,吳歡燕

技術領域

本發明涉及分布式存儲技術領域，更具體地，涉及一種分布式文件數據訪問方法及系統。

背景技術

分布式文件系統(Distributed File System)是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點相連。分布式文件系統的管理節點及所存儲的數據各自分布在不同的節點上，這些節點之間通過網絡相連，并可為多個客戶端提供文件的存儲、讀寫、刪除等服務。通常的分布式文件系統主要由元數據服務器、數據塊服務器和客戶端組成，元數據服務器用來維護一個全局的命名空間，數據塊服務器是分布式文件系統中用來直接存儲數據的地方，客戶端是用戶和文件系統的接口，通常客戶端都能使用戶透明的進行I/O操作。

伴隨云存儲業務的不斷增加，存儲數據的規模也在不斷增加，分布式文件系統也需要由大量的節點組成，這就使得分布式文件系統具有易擴展、高可靠性、安全接入等特點。目前應用較為廣泛的分布式文件系統主要有GFS和Hadoop分布式文件系統(HDFS)。HDFS采用了主/從架構來管理文件系統，一個HDFS集群是由一個NameNode節點和一定數量的DataNode節點組成，NameNode是HDFS的主服務器，主要負責管理文件系統的元數據，DataNode是主要負責存儲文件的數據塊。具體架構如圖1所示，NameNode節點是整個分布式文件系統的核心服務器，主要功能是管理用戶文件的元數據信息，維護著整個文件系統樹和這個樹內所有的文件和索引目錄。此外，NameNode節點還會負責數據塊的管理，如新建數據塊、備份數據塊、刪除多余的數據塊以及垃圾回收等內容，為了保證元數據的可靠性，NameNode還會將元數據信息以鏡像文件和編輯日志兩種形式保存到硬盤中。

DataNode節點是存儲文件的數據塊，但并未記錄數據塊到文件的映射，因此客戶端是通過NameNode獲取文件的數據塊信息和位置后，才能與DataNode聯系進行文件的讀寫操作。每個DataNode節點都會定時向NameNode發送心跳信息和數據塊報告狀態，如果NameNode發現某個DataNode節點失效，就會將失效節點上的數據塊通過其它副本復制到一個正常的DataNode中，保證數據塊的副本數達到指定的數量。

通過分析HDFS架構的擴展性、性能、可靠性、安全性等，目前的HDFS架構使用單一的NameNode節點來管理整個HDFS集群的命名空間會使系統控制邏輯比較簡單、方便管理，但是也會導致可靠性和安全性方面的缺陷。在分布式系統中，雖然文件的元數據大小相對于NameNode的存儲空間來說是很小的，但是整個文件系統50％到80％的處理量都是對元數據的處理，所以分布式文件系統對元數據的服務性能大大制約著其文件的處理能力。所以在大規模HDFS應用的場景中，Namenode節點逐漸會變的不堪重負，并且HDFS在設計之初并未考慮安全因素，這種架構上的缺陷都會成為整個系統的瓶頸所在。

現有技術中，由于HDFS設計初期并沒有考慮安全因素，其假定了服務器集群總是處于可信的環境中，并由可信用戶使用的。面對分布式存儲系統應用越發廣泛的趨勢，越來越多意外的或有意的安全問題出現了。例如：合法用戶會誤操作刪掉大量有用的數據，非法用戶可以冒充某個合法用戶訪問該用戶在HDFS中的數據。這些安全問題都制約著傳統分布式文件系統的發展。

發明內容

為解決現有技術中分布式文件系統設計初期并沒有考慮安全因素，非法用戶可以冒充某個合法用戶訪問該用戶在分布式文件系統中的數據的問題，提出一種分布式文件數據訪問方法及系統。

根據本發明的一個方面，提供一種分布式文件數據訪問方法，包括：

接收用戶ID信息，判斷用戶是為注冊用戶，根據所述用戶ID信息，生成第一會話密鑰，從本地數據庫中調取用戶Master Key和核心控制節點Master Key，根據所述用戶Master Key加密所述第一會話密鑰，獲得第一加密信息，根據所述核心控制節點Master Key加密所述第一會話密鑰和該用戶ID信息，獲得第二加密信息；

將所述第一加密信息和第二加密信息發送給客戶端，以接收所述客戶端返回的所述第二加密信息和通過所述第一會話密鑰加密的第三加密信息，所述第三加密信息中包含待驗證的用戶ID信息和請求文件名；

根據第一會話密鑰解密所述第三加密信息，獲得所述待驗證的用戶ID信息，根據所述用戶ID信息和所述待驗證的用戶ID信息的一致性判斷獲知該用戶具有目標子群控制節點的訪問權；