[發明專利]分布式文件系統及節省分布式文件系統存儲空間的方法

在審

• 申請號: 201710287520.9
• 申請日: 2017-04-27
• 公開（公告）號: CN107169056A
• 公開（公告）日: 2017-09-15
• 發明（設計）人: 李強;王鳳琴
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 四川省成都市天策商標專利事務所51213
• 代理人: 陳靖,李潔

技術領域

本發明涉及計算機技術領域，具體涉及一種分布式文件系統及節省分布式文件系統存儲空間的方法。

背景技術

計算機通過文件系統來管理和存儲數據。隨著互聯網技術的迅猛發展，人們可以獲取的數據逐漸成指數倍的增長，單純通過增加硬盤個數來擴展計算機文件系統的存儲容量的方式，在容量大小、容量增長速度、數據備份、數據安全等方面的表現都差強人意。而分布式文件系統可以有效解決數據的存儲和管理難題：將固定于某個地點的某個文件系統，擴展到任意多個地點/多個文件系統，眾多的節點組成一個文件系統網絡。每個節點可以分布在不同的地點，通過網絡進行節點間的通信和數據傳輸。人們在使用分布式文件系統時，無需關心數據是存儲在哪個節點上、或者是從哪個節點中獲取文件的，只需要像使用本地文件系統那樣來管理和存儲文件系統中的數據。分布式文件系統的這些優點使得它很快就得到了大規模的應用。

而通常的分布式文件系統通常采用了三副本機制來保證數據的可靠性和可用性。也就是說，每一個存儲于分布式文件系統的文件，實際上都存儲了三份拷貝。三副本機制不僅提高了數據的可靠性，當某一份數據丟失時，可以采用另外兩份副本進行數據恢復，而且三副本能起到比較好的負載均衡的功能。然而，這種方法的成本比較高，它消耗的存儲空間是實際存儲容量的三倍。而且如果當服務器的磁盤陣列采用了類似RAID5之類的技術，且在這些服務器節點的基礎之上部署了分布式文件系統，那么實際的存儲空間消耗會更多。如果進一步考慮存儲硬件、機房的消耗、電量消耗等一系列的問題，那么存儲成本是比較高的。而且隨著數據存儲量的不斷增大，這個成本問題還會更加突出。

有鑒于此，我們設計并實現了一種節省分布式文件系統存儲空間的方法，可以有效地降低存儲空間的消耗問題，對于數據中心建設、云計算平臺建設等方面可以大大節省成本。

發明內容

本發明克服了現有技術的不足，提供一種分布式文件系統。

為解決上述的技術問題，本發明采用以下技術方案：

一種分布式文件系統，其特征在于，它包括內置在該系統內的客戶端、命名節點或存儲節點，所述客戶端由若干個訪問終端構成，所述命名節點和存儲節點為單個虛擬機、Docker容器或物理服務器。

本發明還可以提供一種節省分布式文件系統存儲空間的方法，它包括以下步驟：

步驟1，在分布式文件系統的配置文件中設定冷文件區域和熱文件區域區分的熱度閥值；

步驟2，將新寫入的文件存入分布式文件系統的冷文件區域；

步驟3，在存儲節點內對新寫入冷文件區域的文件存儲采用糾錯碼的方式存儲；

步驟4，在命名節點內的文件元數據信息中，增加單位時間、起始訪問時間、訪問次數、開始訪問時間或熱度值；

熱度值＝訪問次數÷(開始訪問時間－起始訪問時間)÷單位時間；

步驟5，客戶端請求一次要訪問的文件，就對該文件的文件元數據信息中的訪問次數增加一次，并新增加一個開始訪問時間，同時計算該文件的熱度值；

步驟6，將步驟5中文件的熱度值和熱度閥值進行比較，如果文件的熱度值大于熱度閥值，則轉向步驟7，否則轉向步驟8；

步驟7，將文件移入熱文件區域，同時隨機選擇一個熱文件的副本，返回給客戶端；

步驟8，在存儲節點查找冷文件，將冷文件并通過糾錯碼計算后返回給客戶端。

優選的，分布式文件系統根據不同的業務，所設置的區分冷文件和熱文件的熱度閥值是不同的。

優選的，所述熱文件區域的文件采用三副本的方式存儲。

與現有技術相比，本發明的有益效果是：

本發明對于數據中心建設、公有云或私有云建設方面有很強的實用價值，可以有效地降低存儲成本，提升存儲空間的利用率。在實際檢驗中我們發現，可以減少采購存儲設備的數量30％以上。

附圖說明

圖1為本發明一種實施例的分布式文件系統的框架示意圖。

圖2為本發明一種實施例的節省分布式文件系統存儲空間的方法流程圖。

具體實施方式

下面結合附圖對本發明作進一步闡述。

如圖1所示的一種分布式文件系統，它包括內置在該系統內的客戶端、命名節點或存儲節點，所述客戶端由若干個訪問終端構成，所述命名節點和存儲節點為單個虛擬機、Docker容器或物理服務器，。

如圖2所示的一種節省分布式文件系統存儲空間的方法，它包括以下步驟：