[發明專利]基于分級存儲的分布式文件系統實現方法

有效

• 申請號: 201410756537.0
• 申請日: 2014-12-10
• 公開（公告）號: CN104462389B
• 公開（公告）日: 2018-01-30
• 發明（設計）人: 雍帥
• 申請（專利權）人: 上海愛數信息技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海科盛知識產權代理有限公司31225
• 代理人: 趙志遠

技術領域

本發明涉及一種計算機存儲技術領域，尤其是涉及一種基于分級存儲的分布式文件系統實現方法。

背景技術

在過去的幾年里產生的數據量比以往四萬年的數據量還要多，大數據時代的來臨已經毋庸置疑。面對數據爆炸式增長，需要的存儲數量越來越多，并且不同的數據對存儲的性能、要求保留的時間、被訪問的頻度差異很大，當采用采用單一形式的存儲無法滿足資金、性能、場地、法律法規等的綜合要求。而傳統的采用人工方式將數據存儲到不同的存儲系統的方式在海量數據面前已很難管理，容易出錯，直接造成數據版本混亂，浪費存儲空間。采用傳統的數據備份時也恢復效率低，費時費力。總之使用傳統的方式難以確保恰當的數據永遠只保存在恰當位置。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種數據訪問完全并行化、性能好、硬件成本低的基于分級存儲的分布式文件系統實現方法，支持scale-out的橫向擴展，無元數據服務，只需少量的高速設備實現全系統提速，熱點數據自動分級管理，能夠對不同區間的邏輯分區的采用不同介質，不同存儲方式對數據進行存儲。

本發明的目的可以通過以下技術方案來實現：

一種基于分級存儲的分布式文件系統實現方法，其特征在于，包括以下步驟：

1)對系統中的數據采用全局統一命名空間，建立無元數據服務的分布式文件系統；

2)將整個分布式文件系統根據業務需要劃分為不同的邏輯分區；

3)對不同的邏輯分區選用不同的存儲介質和存儲方式；

4)邏輯分區間的數據實現自動遷移，并對遷移后的數據進行數據重定位。

所述的分布式文件系統中的各個節點關系對等，并使用彈性哈希算法定位文件。

所述的不同的邏輯分區包括高速集群邏輯分區、半活動集群邏輯分區和低速集群邏輯分區。

所述的對不同的邏輯分區選用不同的存儲介質具體為：

對高速集群邏輯分區選用大內存和固態硬盤的存儲服務器；

對半活動集群邏輯分區選用SAS接口硬盤的存儲服務器；

對低速集群邏輯分區選用SATA接口硬盤的存儲服務器。

所述的對不同的邏輯分區選用不同的存儲方式具體為：

對高速集群邏輯分區選用三副本的存儲模式；

對半活動集群邏輯分區和低速集群邏輯分區選用二副本或單副本外加軟RAID的存儲模式。

所述的邏輯分區間的數據實現自動遷移具體為：

41)數據使用信息模塊采集文件的使用頻率、文件的大小、文件所處的邏輯分區信息；

42)數據遷移管理模塊根據數據使用信息模塊采集信息和用戶設定的遷移策略，觸發對數據的遷移操作；

43)數據遷移執行模塊完成對數據的遷移。

所述的數據遷移管理模塊根據數據使用信息模塊采集信息和用戶設定的遷移策略，觸發對數據的遷移操作具體為：

①在高速集群邏輯分區中設置容量遷移閥值，當容量達到閥值時，開始啟動遷移；

②首先需要考慮數據的使用頻度，根據LRU算法準備遷移數據，其次需要考慮數據遷移的成本，遷移算法具體為：遷移值＝使用頻率*權重A1-文件大小*權重B1；

③對于半活動集群邏輯分區或低速集群邏輯分區的數據若經常被訪問，需要考慮數據回遷，數據回遷的策略值為：回遷值＝文件所在區間*權重A2+上級區間所剩空間*權重B2。

所述的數據遷移執行模塊進行熱遷移，即在數據的遷移的過程應該不能中斷上層的相關業務。

所述的熱遷移具體為：

當客戶端訪問的文件正在進行從邏輯分區A到邏輯分區B的遷移時，同步過程需要經過增量的迭代，只有當兩邊文件全部相同時，才能修改邏輯分區A的原有文件的元信息，將其定位到邏輯分區B上，同時將邏輯分區A上的數據刪除已釋放相應空間。

所述的對遷移后的數據進行數據重定位具體為：

(1)客戶端根據文件定位算法直接訪問原文件；

(2)根據當前文件的元信息，返回重定位操作；

(3)根據重定位信息訪問新的文件位置；

(4)獲取相應的文件操作。

與現有技術相比，本發明具有以下優點：

1)無元數據服務的設計使得文件定位不需要查詢索引或者其他服務器，這使得數據訪問完全并行化，從而實現真正的近線性擴展。

2)分級的存儲管理，使得可以根據業務需求使用較少高速硬件設備，獲得相對較高的整體性能，大大節省硬件成本。