[發(fā)明專利]基于分級存儲的分布式文件系統(tǒng)實(shí)現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201410756537.0
• 申請日: 2014-12-10
• 公開（公告）號: CN104462389B
• 公開（公告）日: 2018-01-30
• 發(fā)明（設(shè)計(jì)）人: 雍帥
• 申請（專利權(quán)）人: 上海愛數(shù)信息技術(shù)股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司31225
• 代理人: 趙志遠(yuǎn)

1.一種基于分級存儲的分布式文件系統(tǒng)實(shí)現(xiàn)方法，其特征在于，包括以下步驟：

1)對系統(tǒng)中的數(shù)據(jù)采用全局統(tǒng)一命名空間，建立無元數(shù)據(jù)服務(wù)的分布式文件系統(tǒng)；

2)將整個(gè)分布式文件系統(tǒng)根據(jù)業(yè)務(wù)需要?jiǎng)澐譃椴煌倪壿嫹謪^(qū)；

3)對不同的邏輯分區(qū)選用不同的存儲介質(zhì)和存儲方式；

4)邏輯分區(qū)間的數(shù)據(jù)實(shí)現(xiàn)自動(dòng)遷移，并對遷移后的數(shù)據(jù)進(jìn)行數(shù)據(jù)重定位；

所述的不同的邏輯分區(qū)包括高速集群邏輯分區(qū)、半活動(dòng)集群邏輯分區(qū)和低速集群邏輯分區(qū)；

所述的邏輯分區(qū)間的數(shù)據(jù)實(shí)現(xiàn)自動(dòng)遷移具體為：

41)數(shù)據(jù)使用信息模塊采集文件的使用頻率、文件的大小、文件所處的邏輯分區(qū)信息；

42)數(shù)據(jù)遷移管理模塊根據(jù)數(shù)據(jù)使用信息模塊采集信息和用戶設(shè)定的遷移策略，觸發(fā)對數(shù)據(jù)的遷移操作；

43)數(shù)據(jù)遷移執(zhí)行模塊完成對數(shù)據(jù)的遷移；

所述的數(shù)據(jù)遷移管理模塊根據(jù)數(shù)據(jù)使用信息模塊采集信息和用戶設(shè)定的遷移策略，觸發(fā)對數(shù)據(jù)的遷移操作具體為：

①在高速集群邏輯分區(qū)中設(shè)置容量遷移閥值，當(dāng)容量達(dá)到閥值時(shí)，開始啟動(dòng)遷移；

②首先需要考慮數(shù)據(jù)的使用頻度，根據(jù)LRU算法準(zhǔn)備遷移數(shù)據(jù)，其次需要考慮數(shù)據(jù)遷移的成本，遷移算法具體為：遷移值＝使用頻率*權(quán)重A1-文件大小*權(quán)重B1；

③對于半活動(dòng)集群邏輯分區(qū)或低速集群邏輯分區(qū)的數(shù)據(jù)若經(jīng)常被訪問，需要考慮數(shù)據(jù)回遷，數(shù)據(jù)回遷的策略值為：回遷值＝文件所在區(qū)間*權(quán)重A2+上級區(qū)間所剩空間*權(quán)重B2。

2.根據(jù)權(quán)利要求1所述的一種基于分級存儲的分布式文件系統(tǒng)實(shí)現(xiàn)方法，其特征在于，所述的分布式文件系統(tǒng)中的各個(gè)節(jié)點(diǎn)關(guān)系對等，并使用彈性哈希算法定位文件。

3.根據(jù)權(quán)利要求1所述的一種基于分級存儲的分布式文件系統(tǒng)實(shí)現(xiàn)方法，其特征在于，所述的對不同的邏輯分區(qū)選用不同的存儲介質(zhì)具體為：

對高速集群邏輯分區(qū)選用大內(nèi)存和固態(tài)硬盤的存儲服務(wù)器；

對半活動(dòng)集群邏輯分區(qū)選用SAS接口硬盤的存儲服務(wù)器；

對低速集群邏輯分區(qū)選用SATA接口硬盤的存儲服務(wù)器。

4.根據(jù)權(quán)利要求1所述的一種基于分級存儲的分布式文件系統(tǒng)實(shí)現(xiàn)方法，其特征在于，所述的對不同的邏輯分區(qū)選用不同的存儲方式具體為：

對高速集群邏輯分區(qū)選用三副本的存儲模式；

對半活動(dòng)集群邏輯分區(qū)和低速集群邏輯分區(qū)選用二副本或單副本外加軟RAID的存儲模式。

5.根據(jù)權(quán)利要求1所述的一種基于分級存儲的分布式文件系統(tǒng)實(shí)現(xiàn)方法，其特征在于，所述的數(shù)據(jù)遷移執(zhí)行模塊進(jìn)行熱遷移，即在數(shù)據(jù)的遷移的過程應(yīng)該不能中斷上層的相關(guān)業(yè)務(wù)。

6.根據(jù)權(quán)利要求5所述的一種基于分級存儲的分布式文件系統(tǒng)實(shí)現(xiàn)方法，其特征在于，所述的熱遷移具體為：

當(dāng)客戶端訪問的文件正在進(jìn)行從邏輯分區(qū)A到邏輯分區(qū)B的遷移時(shí)，同步過程需要經(jīng)過增量的迭代，只有當(dāng)兩邊文件全部相同時(shí)，才能修改邏輯分區(qū)A的原有文件的元信息，將其定位到邏輯分區(qū)B上，同時(shí)將邏輯分區(qū)A上的數(shù)據(jù)刪除已釋放相應(yīng)空間。

7.根據(jù)權(quán)利要求1所述的一種基于分級存儲的分布式文件系統(tǒng)實(shí)現(xiàn)方法，其特征在于，所述的對遷移后的數(shù)據(jù)進(jìn)行數(shù)據(jù)重定位具體為：

(1)客戶端根據(jù)文件定位算法直接訪問原文件；

(2)根據(jù)當(dāng)前文件的元信息，返回重定位操作；

(3)根據(jù)重定位信息訪問新的文件位置；

(4)獲取相應(yīng)的文件操作。