[發(fā)明專利]一種跨數(shù)據(jù)中心云計算系統(tǒng)的數(shù)據(jù)遷移方法

有效

• 申請?zhí)枺?/td>: 201610463009.5
• 申請日: 2016-06-23
• 公開（公告）號: CN106155785B
• 公開（公告）日: 2018-01-12
• 發(fā)明（設計）人: 朱曉敏;包衛(wèi)東;周文;肖文華;紀浩然;王吉;陳超;邵屹楊;劉桂鵬
• 申請（專利權）人: 中國人民解放軍國防科學技術大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;H04L29/08
• 代理公司: 北京市鑄成律師事務所11313
• 代理人: 郝文博,孟銳

技術領域

本發(fā)明涉及虛擬化云領域，特別地，涉及一種跨數(shù)據(jù)中心云計算系統(tǒng)的數(shù)據(jù)遷移方法。

背景技術

數(shù)據(jù)產(chǎn)生的速度從來沒有當今這么快過：YouTube每天產(chǎn)生近40億條視頻查看記錄與總時長近432000小時的新視頻。隨著大數(shù)據(jù)時代的到來，各行各業(yè)數(shù)據(jù)量不斷增長，其潛在的巨大價值值得挖掘，例如FaceBook這樣的社交網(wǎng)站可以通過分析網(wǎng)站歷史記錄(包括點擊記錄，活動記錄等)揭示用戶使用模式以及潛在的關系，并以此檢測社會熱點事件或為其市場決策服務。然而，對地理分散的大容量數(shù)據(jù)進行快速處理極其復雜，以至于傳統(tǒng)PC機已經(jīng)無法滿足其處理要求，為此，許多公司部署了多數(shù)據(jù)中心云與混合云來處理此問題。這些云技術提供了強大而高效解決方案來處理不斷高速增長的多元大數(shù)據(jù)集合，其中一些已經(jīng)投入商用以應對不斷增長的計算需求，同時向用戶提供可保證的服務質(zhì)量。

映射-規(guī)約模型(MapReduce)是一種針對大規(guī)模數(shù)據(jù)并行處理的分布式編程模型，已經(jīng)在許多應用中顯示出其引人注目的優(yōu)勢。最初的MaprRduce模型不是針對跨數(shù)據(jù)中心設計的，不過近期研究已經(jīng)將最初的MapReduce模型從單數(shù)據(jù)中心擴展到多數(shù)據(jù)中心。最值得關注的問題包括：①如何將不同位置的大規(guī)模數(shù)據(jù)遷移至地理分布的數(shù)據(jù)中心？②需要在這些數(shù)據(jù)中心中提供多少量的計算資源以保證性能同時又最小化花費？大數(shù)據(jù)的異構性、多元性以及動態(tài)的效用驅(qū)動資源價格模型使這兩個問題非常具有挑戰(zhàn)性。另外，分布式計算多個階段之間的內(nèi)部依賴性，如MapReduce計算中映射階段與規(guī)約階段的相互作用，進一步加劇了在地理分布的多數(shù)據(jù)中心之間的數(shù)據(jù)遷移、資源供給以及規(guī)約器選擇問題的復雜性。

針對現(xiàn)有技術中缺乏基于映射-規(guī)約模型的跨數(shù)據(jù)中心云計算系統(tǒng)調(diào)度方案的問題，目前尚未有有效的解決方案。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提出一種跨數(shù)據(jù)中心云計算系統(tǒng)的數(shù)據(jù)遷移方法，能夠平衡跨數(shù)據(jù)中心的花費來高性能、高可用且以最小花費解決跨數(shù)據(jù)中心云計算系統(tǒng)的調(diào)度問題。

基于上述目的，本發(fā)明提供的技術方案如下：

根據(jù)本發(fā)明的一個方面，提供了一種跨數(shù)據(jù)中心云計算系統(tǒng)的數(shù)據(jù)遷移方法，包括：

從云計算系統(tǒng)中獲取系統(tǒng)參數(shù)；

根據(jù)系統(tǒng)參數(shù)獲得目標函數(shù)與約束；

使用李雅普諾夫優(yōu)化框架獲得目標函數(shù)的飄移-懲罰因子與其上界；

從飄移-懲罰因子中的上界中提取數(shù)據(jù)分配項并生成數(shù)據(jù)遷移方法。

其中，根據(jù)系統(tǒng)參數(shù)獲得目標函數(shù)包括：

使用系統(tǒng)參數(shù)描述決策變量；

使用系統(tǒng)參數(shù)與決策變量描述數(shù)據(jù)中心的成本；

根據(jù)決策變量與數(shù)據(jù)中心的成本描述目標函數(shù)與約束。

并且，云計算系統(tǒng)包括多個數(shù)據(jù)源與多個數(shù)據(jù)中心，其中每個數(shù)據(jù)中心均包括一個映射器與一個規(guī)約器；云計算系統(tǒng)在進行數(shù)據(jù)遷移時，先將數(shù)據(jù)源的數(shù)據(jù)轉(zhuǎn)移到任意數(shù)據(jù)中心的映射器上執(zhí)行映射操作并生成中間鍵值對，后將中間鍵值對從任意數(shù)據(jù)中心的映射器轉(zhuǎn)移到單個數(shù)據(jù)中心的規(guī)約器上執(zhí)行規(guī)約操作。

并且，其特征在于，系統(tǒng)參數(shù)包括：

數(shù)據(jù)中心集合、虛擬機類型集合、數(shù)據(jù)集合；

某時刻從某數(shù)據(jù)源轉(zhuǎn)移至某數(shù)據(jù)中心的數(shù)據(jù)量、某時刻某數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)量、每時刻某數(shù)據(jù)源產(chǎn)生的最大數(shù)據(jù)量；

某數(shù)據(jù)源轉(zhuǎn)移單位數(shù)據(jù)量至某數(shù)據(jù)中心的價格、單位數(shù)據(jù)在數(shù)據(jù)中心的存儲價格、某時刻數(shù)據(jù)中心尚未處理完的數(shù)據(jù)量、某數(shù)據(jù)源到某數(shù)據(jù)中心間的延遲、延遲經(jīng)濟花費轉(zhuǎn)換因子、某時刻某數(shù)據(jù)中心內(nèi)某類虛擬機的價格、某時刻從某數(shù)據(jù)中心轉(zhuǎn)移的數(shù)據(jù)量、某兩數(shù)據(jù)中心間的遷移花費。

同時，決策變量包括數(shù)據(jù)分配變量、虛擬機供給變量與規(guī)約器選擇變量，使用系統(tǒng)參數(shù)描述決策變量包括：

使用某時刻從某數(shù)據(jù)源轉(zhuǎn)移至某數(shù)據(jù)中心的數(shù)據(jù)量、某時刻某數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)量、每時刻某數(shù)據(jù)源產(chǎn)生的最大數(shù)據(jù)量描述數(shù)據(jù)分配變量；

使用某時刻從某數(shù)據(jù)中心提供的用作映射的某類虛擬機數(shù)量、某時刻從某數(shù)據(jù)中心提供的用作規(guī)約的某類虛擬機數(shù)量描述虛擬機供給變量；

使用某時刻映射器產(chǎn)生的所有數(shù)據(jù)匯集到的數(shù)據(jù)中心描述規(guī)約器選擇變量。

并且，數(shù)據(jù)中心的成本包括帶寬花費、存儲花費、延遲花費、計算花費與遷移花費，使用系統(tǒng)參數(shù)與決策變量描述數(shù)據(jù)中心的成本包括：

使用從某數(shù)據(jù)源轉(zhuǎn)移單位數(shù)據(jù)量至某數(shù)據(jù)中心的價格與數(shù)據(jù)分配變量描述帶寬花費；