[發(fā)明專利]面向大規(guī)模集群消重的應(yīng)用感知數(shù)據(jù)路由方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201410158590.0
• 申請日: 2014-04-18
• 公開（公告）號: CN103902735B
• 公開（公告）日: 2017-02-22
• 發(fā)明（設(shè)計）人: 付印金;胡谷雨;倪桂強(qiáng);謝鈞
• 申請（專利權(quán)）人: 中國人民解放軍理工大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/14;H04L29/08
• 代理公司: 南京理工大學(xué)專利中心32203
• 代理人: 吳茂杰,朱顯國

技術(shù)領(lǐng)域

本發(fā)明屬于信息存儲及集群計算技術(shù)領(lǐng)域，特別是一種面向大規(guī)模集群消重的應(yīng)用感知數(shù)據(jù)路由方法及大規(guī)模備份存儲集群系統(tǒng)。

背景技術(shù)

在眾多管理海量數(shù)據(jù)的備份存儲系統(tǒng)內(nèi)數(shù)據(jù)高度冗余，集群消重（Cluster?Deduplication）技術(shù)是在備份存儲服務(wù)器集群系統(tǒng)上實現(xiàn)分布并行的數(shù)據(jù)消重處理，能夠滿足海量備份數(shù)據(jù)管理在容量和性能上的可擴(kuò)展需求。為構(gòu)建節(jié)能、環(huán)保、高效的綠色數(shù)據(jù)中心，集群消重已成為當(dāng)前數(shù)據(jù)中心存儲管理的核心技術(shù)。

出于對系統(tǒng)開銷的考慮，集群消重往往選擇松耦合設(shè)計，不去執(zhí)行跨節(jié)點(diǎn)的數(shù)據(jù)消重。備份客戶端發(fā)送的數(shù)據(jù)先通過數(shù)據(jù)路由分配到各個消重存儲服務(wù)器節(jié)點(diǎn)，消重存儲服務(wù)器再獨(dú)立并行地刪除節(jié)點(diǎn)內(nèi)重復(fù)的數(shù)據(jù)內(nèi)容。數(shù)據(jù)路由直接影響備份數(shù)據(jù)的存儲空間利用率、消重存儲服務(wù)器節(jié)點(diǎn)的系統(tǒng)吞吐率、消重存儲服務(wù)器集群的負(fù)載均衡和通信開銷。因此，數(shù)據(jù)路由方法對集群消重效率的提升至關(guān)重要。

目前，集群消重的數(shù)據(jù)路由方法主要有三種：基于分布式哈希表的塊級數(shù)據(jù)路由方法、基于狀態(tài)信息的超塊級數(shù)據(jù)路由方法、以及基于相似性的文件級數(shù)據(jù)路由方法?；诜植际焦１淼膲K級數(shù)據(jù)路由方法，如USENIX?FAST’09會議論文“HYDRAstor:a?Scalable?Secondary?Storage”（公開日：2009-02-23）和中國發(fā)明專利申請“分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)及其方法”（申請?zhí)枺?01110461322.2，公開日：2011-12-28），是將數(shù)據(jù)塊特征值按分布式哈希表分配到不同數(shù)據(jù)消重節(jié)點(diǎn)。雖然該方法能夠有效地提高空間利用率和降低通信開銷，但不能保留住節(jié)點(diǎn)內(nèi)的數(shù)據(jù)局部性而影響系統(tǒng)吞吐率?；跔顟B(tài)信息的超塊級數(shù)據(jù)路由方法，如USENIX?FAST’11會議論文“Tradeoffs?in?Scalable?Data?Routing?for?Deduplication?Clusters”（公開日：2011-02-14），將劃分后連續(xù)的許多數(shù)據(jù)塊合并成粒度均勻的超塊，超塊路由前都需要查詢其所含數(shù)據(jù)塊與各個節(jié)點(diǎn)內(nèi)已存數(shù)據(jù)塊的重復(fù)數(shù)，然后在考慮負(fù)載平衡的前提下盡量將超塊路由到重復(fù)數(shù)據(jù)塊數(shù)最多的節(jié)點(diǎn)。這種策略能在負(fù)載平衡的前提下獲得高數(shù)據(jù)縮減率，但其廣播式的系統(tǒng)通信開銷以及節(jié)點(diǎn)內(nèi)頻繁的塊指紋查詢操作嚴(yán)重影響了系統(tǒng)性能?；谙嗨菩缘奈募墧?shù)據(jù)路由，如IEEE/ACM?MASCOTS’09會議論文“Extreme?Binning:Scalable,Parallel?Deduplication?for?Chunk?based?File?Backup”（公開日：2009-09-21），利用基于Broder最小值獨(dú)立置換定理選取文件內(nèi)數(shù)據(jù)塊指紋的最小值作為文件的相似特征，按分布式哈希機(jī)制將相似的文件路由到相同的消重存儲服務(wù)器節(jié)點(diǎn)，但當(dāng)數(shù)據(jù)流中相似性較低時，不能檢測出文件相似性，備份數(shù)據(jù)的集群消重效果較差。

總之，現(xiàn)有技術(shù)存在的問題是：對數(shù)據(jù)中心成百上千個節(jié)點(diǎn)規(guī)模的集群消重，存在數(shù)據(jù)消重率低、節(jié)點(diǎn)吞吐率低、系統(tǒng)通信開銷大和系統(tǒng)負(fù)載不均衡等缺陷。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種面向大規(guī)模集群消重的應(yīng)用感知數(shù)據(jù)路由方法及系統(tǒng)，具有數(shù)據(jù)消重率高、節(jié)點(diǎn)吞吐率高、系統(tǒng)通信開銷小和系統(tǒng)負(fù)載均衡的特點(diǎn)。

實現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種面向大規(guī)模集群消重的應(yīng)用感知數(shù)據(jù)路由方法，所述大規(guī)模備份存儲集群系統(tǒng)包括多個備份客戶端（100）、一個備份服務(wù)器（200）和多個消重存儲服務(wù)器（300），其特征在于，包括如下步驟：

S10）獲取備份文件元信息：備份客戶端（100）向備份服務(wù)器（200）發(fā)送包含文件的名稱、用戶和大小等文件元信息的文件備份請求消息；

S20）感知文件應(yīng)用類型：備份服務(wù)器（200）根據(jù)文件元信息對備份文件的應(yīng)用類型進(jìn)行劃分，并查詢應(yīng)用索引結(jié)構(gòu)，獲取可存放相應(yīng)類型應(yīng)用文件的候選消重存儲服務(wù)器（300）節(jié)點(diǎn)列表；

S30）計算消重存儲節(jié)點(diǎn)負(fù)載：備份服務(wù)器（200）通過查詢應(yīng)用感知索引結(jié)構(gòu)獲取各消重存儲服務(wù)器（300）節(jié)點(diǎn)的實時動態(tài)負(fù)載信息，并根據(jù)這些節(jié)點(diǎn)負(fù)載信息和備份文件元信息計算出可保持負(fù)載平衡的低負(fù)載消重存儲服務(wù)器（300）節(jié)點(diǎn)列表；

S40）選取文件路由節(jié)點(diǎn)：備份服務(wù)器（200）分析候選消重存儲服務(wù)器節(jié)點(diǎn)列表和低負(fù)載消重存儲服務(wù)器節(jié)點(diǎn)列表，選取存放相同類型應(yīng)用數(shù)據(jù)的一個低負(fù)載候選服務(wù)器節(jié)點(diǎn)作為文件路由目標(biāo)節(jié)點(diǎn)，并將結(jié)果返回給備份客戶端（100）；