[發(fā)明專利]一種基于云端大數(shù)據(jù)遷移和處理成本的優(yōu)化算法

在審

• 申請?zhí)枺?/td>: 201710445796.5
• 申請日: 2017-06-14
• 公開（公告）號: CN107273184A
• 公開（公告）日: 2017-10-20
• 發(fā)明（設(shè)計）人: 夏輝;王曉薇;范書國
• 申請（專利權(quán)）人: 沈陽師范大學(xué)
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/48;H04L29/08
• 代理公司: 沈陽維特專利商標(biāo)事務(wù)所(普通合伙)21229
• 代理人: 陳福昌

技術(shù)領(lǐng)域:

本發(fā)明涉及云端大數(shù)據(jù)遷移優(yōu)化的算法問題，屬于云計算應(yīng)用技術(shù)領(lǐng)域。

背景技術(shù):

隨著網(wǎng)絡(luò)技術(shù)和移動通訊技術(shù)的迅猛發(fā)展，數(shù)據(jù)量的增長呈現(xiàn)出指數(shù)增長的規(guī)律。1998年圖靈獎獲得者Jim Gray提出一個新的經(jīng)驗定律：

現(xiàn)在每18個月新增的存儲量等于有史以來存儲量之和,到目前為止，數(shù)據(jù)量的增長基本滿足這個規(guī)律，根據(jù)預(yù)測，2020年數(shù)據(jù)宇宙將達(dá)到35.2ZB(1ZB＝1百萬PB)，比2009的0.8ZB增加44倍。在如此強大的實際需求推動下，人們不斷追求海量存儲容量、高性能、高安全性、高可用性、可擴展性、可管理性等特性，對存儲的需求不斷提高。信息量呈現(xiàn)爆炸式增長趨勢，使得存儲性能已經(jīng)成為急需提高的瓶頸。使用云端來存儲企業(yè)的數(shù)據(jù)將大大提高可用空間，但前提是數(shù)據(jù)遷移要做好，最重要的是最大限度的安全、有效、最低成本地將這些海量大數(shù)據(jù)遷移到云端，這是一個系統(tǒng)工程，并且不是容易完成的工作，對于大數(shù)據(jù)遷移需求現(xiàn)在成幾何式增長，據(jù)IDC統(tǒng)計，數(shù)據(jù)遷移成本占整個大數(shù)據(jù)應(yīng)用費用的40％以上。

云計算按照即付即用的模式運行,使得用戶能夠根據(jù)自身所需動態(tài)調(diào)整租用的資源,并且具有高性能以及高容錯特性,為大數(shù)據(jù)處理提供了一種高效而經(jīng)濟的解決方案.在云計算模式下,如何對數(shù)據(jù)與云資源進行有效管理為數(shù)據(jù)管理者降低數(shù)據(jù)處理成本至關(guān)重要。其中,最為重要的問題要數(shù)：1)如何動態(tài)地將不同位置的實時產(chǎn)生的大規(guī)模數(shù)據(jù)分配至地理分布的數(shù)據(jù)中心？2)需要在這些數(shù)據(jù)中心中提供多少計算資源以保證服務(wù)質(zhì)量同時又最小化運行費用？由于數(shù)據(jù)產(chǎn)生的動態(tài)性、多源性以及資源價格的動態(tài)性使得上述問題變得極具挑戰(zhàn)。

當(dāng)前,對大數(shù)據(jù)的研究主要集中在不同類型數(shù)據(jù)的高速并行處理(比如針對批量數(shù)據(jù)處理的MapReduce框架,針對交互式數(shù)據(jù)的Spark系統(tǒng),針對流式數(shù)據(jù)處理的Dreme系統(tǒng),以及針對圖數(shù)據(jù)的Prege系統(tǒng))、大數(shù)據(jù)分析應(yīng)用(如個性化推薦,軟件分類,基因選擇)以及大數(shù)據(jù)處理基礎(chǔ)技術(shù)等方面,但將大規(guī)模數(shù)據(jù)傳輸?shù)皆贫瞬ζ鋽?shù)據(jù)與資源進行管理的研究很少.目前,為了解決數(shù)據(jù)遷移問題,常常采用一些簡單低效的方法.例如,將數(shù)據(jù)拷貝至大容量的硬盤中再進行物理運輸、甚至直接將整臺機器搬運到數(shù)據(jù)中心等.這些方法不僅會產(chǎn)生不可容忍的數(shù)據(jù)處理延遲,而且考慮到運輸過程中硬盤會毀壞,具有極大的安全隱患.也有實際項目實現(xiàn)了在數(shù)據(jù)中心之間根據(jù)需要自動復(fù)制和傳送數(shù)據(jù),但主要聚焦數(shù)據(jù)的業(yè)務(wù)需求,未考慮數(shù)據(jù)處理所需要的資源。

發(fā)明內(nèi)容

本發(fā)明對多源大數(shù)據(jù)云端處理的數(shù)據(jù)和資源管理問題進行研究,以優(yōu)化大數(shù)據(jù)云端處理的成本,提高其服務(wù)質(zhì)量；基于此,首先將大數(shù)據(jù)云端處理的數(shù)據(jù)遷移和資源供給問題轉(zhuǎn)化為聯(lián)合隨機優(yōu)化問題,然后應(yīng)用李雅普諾夫優(yōu)化技術(shù)對模型進行求解并設(shè)計相應(yīng)的在線決策算法；該算法不需要預(yù)測系統(tǒng)的未來狀態(tài),僅僅基于系統(tǒng)的當(dāng)前狀態(tài)做出決定。發(fā)明內(nèi)容如下：

表一 符號表示含義

(1)提出了一種跨數(shù)據(jù)中心聯(lián)合優(yōu)化數(shù)據(jù)遷移以及資源供給統(tǒng)一模型,考慮了多數(shù)據(jù)源數(shù)據(jù)產(chǎn)生的動態(tài)性以及云端不同虛擬機類型及其價格的動態(tài)性.

(2)通過利用李雅普諾夫優(yōu)化技術(shù)解決聯(lián)合隨機優(yōu)化問題.基于所推導(dǎo)的解析解設(shè)計了相應(yīng)的高效在線決策算法,該算法能夠同時作出數(shù)據(jù)遷移以及資源供給決策并能分布式實現(xiàn)。

具體包括如下步驟：

(1)一般情況下，由于不同VPN一般屬于不同互聯(lián)網(wǎng)服務(wù)提供商，其帶寬價格各不相同，令為從數(shù)據(jù)源r∈R傳輸1GB數(shù)據(jù)到數(shù)據(jù)中心d∈D的價格，則t時刻的帶寬總費用可定義為：

(2)由于大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)規(guī)模的龐大,數(shù)據(jù)的存儲成本也是影響數(shù)據(jù)中心選擇的一個重要因素.令s_d為單時隙內(nèi)數(shù)據(jù)中心d∈D上儲存1GB數(shù)據(jù)所需要的成本,則t時刻系統(tǒng)產(chǎn)生的儲存的總成本為：

(3)由于各云服務(wù)提供商通常采用動態(tài)定價機制,因而從數(shù)據(jù)中心租用的虛擬機的數(shù)量對系統(tǒng)的總成本和服務(wù)質(zhì)量有重要影響.令為t時刻從數(shù)據(jù)中心d中租用的k類型虛擬機數(shù)量.令為t時刻數(shù)據(jù)中心d中k類型的虛擬機的價格,則數(shù)據(jù)處理所需要的計算成本為：

(4)考慮到數(shù)據(jù)源與數(shù)據(jù)中心分布在不同地理位置,本文將延遲作為數(shù)據(jù)處理需要考慮的一個重要性能指標(biāo),數(shù)據(jù)遷移時要盡可能減小延遲造成的影響,為數(shù)據(jù)源r∈R傳輸數(shù)據(jù)到數(shù)據(jù)中心d的延遲。α為將延遲轉(zhuǎn)換為經(jīng)濟成本的權(quán)重系數(shù).則延遲轉(zhuǎn)換的計算成本為：