[發明專利]一種文件系統的數據維護方法及系統

有效

• 申請號: 201410328048.5
• 申請日: 2014-07-10
• 公開（公告）號: CN104281506B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 蔡杰明;劉瀏;閆鵬飛;劉國良;馬留英;何文婷;劉振軍
• 申請（專利權）人: 中國科學院計算技術研究所;天津中科藍鯨信息技術有限公司
• 主分類號: G06F11/16
• 分類號: G06F11/16;G06F11/34;H04L29/08
• 代理公司: 北京律誠同業知識產權代理有限公司11006
• 代理人: 祁建國,梁揮

技術領域

本發明屬于分布式文件系統(distributed?file?system)技術領域，特別是一種文件系統的數據維護方法及系統。?

背景技術

隨著信息技術的發展，全球的數據正在以爆炸式的方式增長,在2011年，全球的創建的數據已達1.8ZB，預計到達2020年全球的信息數據將增長50倍。在如此大的數據量的前提下，結合與big?data(大數據)相關的技術，將能發現其中潛在的巨大價值，為進行大規模計算，能提供大數據存儲，共享的分布式存儲系統是必不可少的。?

在計算集群和計算網格中，數據副本技術，在提高數據訪問帶寬和數據可靠性方面，都是一種非常有效和可行方法，副本機制主要會關注4個方面：副本放置、副本選擇、副本一致性、復制調度，不同的系統在這幾個方面出于性能的考慮會體現出不同的實現策略。?

Amazon?Dynamo(亞馬遜的一種存儲系統)是一個高度可用的key-value(鍵-值)存儲系統，使用一致性哈希表的方式對數據進行分布，同時將數據副本也放到哈希表上進行管理，體現出良好的負載均衡，服務高可用和數據高可靠等特性，在副本的調度策略中使用NRW策略(即數據擁有N個副本，若能讀R個副本則讀成功，若寫完成W個副本則寫成功)保證每個副本的數量修改數量不少于W，且當節點發生故障時，通過既有的策略選取handoff(切換)節點暫時存放數據的副本，通過異步的方式在節點重啟后，將數據副本回遷至原處。?

Google?file?system(谷歌文件系統)的副本策略和數據負載均衡策略由master節點(主節點)負責，master節點會周期性的檢查當前副本的分布情況，為了更好的利用磁盤空間和負載的均衡，master節點將會對副本進行遷?移操作，在副本一致性方面，GFS(谷歌文件系統)維護relaxed?consistent?model(弱一致性模型)，進而能更好的支持其高可用性，體現在兩個方面：客戶端緩存數據副本的位置記錄，提高數據訪問速度也引入了讀取過去副本數據的可能；保證所有的記錄都能至少一次的被原子性追加上，大大提供了客戶端的并發操作的性能。?

當以上存儲系統節點發生故障時，不同的系統會體現出不同的副本接管策略，在傳統的集群副本技術中，副本服務器通常提供只讀的功能，對數據的修改只發生在主服務器，這樣的做法降低了維護整個集群數據一致性的開銷，但卻降低了系統的可用性，類似coda(一種分散式文件系統)這樣的文件系統就使用離線更新的方式，即使在master節點崩潰的情況下，仍能在本地進行修改，提高系統的可用性，同時使用沖突向量的方式解決數據不一致的情況；對于去中心化的系統如Dynamo，使用改進的向量時鐘算法確定數據版本和進行數據沖突解決，也能實現系統的高可用；GFS在應對master節點故障時，采用影子服務器的方式，確保master節點中的數據修改能盡快的同步到遠端，保證在master節點崩潰時，備份服務器能在秒級時間內接管。?

但是上述文件系統大部分是面向局域的網絡環境設計的，而在廣域的網絡環境下，文件系統的設計就必須考慮其他的約束條件：低帶寬、高延遲，異構存儲平臺，而數據中心的遠程備份，實現數據中心級的災難恢復又是必不可少的。基于這樣一個觀察，我們的提出的數據中心間的副本機制將能很好的滿足數據中心級的容災備份需求，且能極大地提高系統的可用性，是非常有吸引力的技術。?

發明專利“一種分布式文件系統中的副本管理方法”公開了一種分布式文件系統中的副本管理方法，包括：在塊節點向主節點重新注冊時，根據塊節點上副本的狀態重新設置主節點上相應副本的狀態；若塊節點上的副本受損，則將主節點上相應副本設置為錯誤狀態；若塊節點上的副本將要移除，則將主節點上相應副本設置為即將移除正確狀態；若塊節點上的副本正常，則將主節點上相應副本設置為正確狀態。該發明能在分布式文件系統中維護副本的一致性，但是該發明主要利用一個有限狀態機實現集群中副本的狀態和副本數量的管理方案，而本發明不適用狀態機，主要完成的是針對主從副本的數據一致性的維護，通過周期性同步的方式維護最終一致的語義。?