[發(fā)明專利]云存儲系統(tǒng)的數(shù)據(jù)處理方法及裝置

在審

• 申請?zhí)枺?/td>: 201310173547.7
• 申請日: 2013-05-10
• 公開（公告）號: CN104144194A
• 公開（公告）日: 2014-11-12
• 發(fā)明（設(shè)計）人: 沈玉良;張志宏;錢嶺
• 申請（專利權(quán)）人: 中國移動通信集團(tuán)公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京銀龍知識產(chǎn)權(quán)代理有限公司 11243
• 代理人: 許靜;黃燦

技術(shù)領(lǐng)域

本發(fā)明涉及云存儲技術(shù)領(lǐng)域，特別是指一種云存儲系統(tǒng)的數(shù)據(jù)處理方法及裝置。

背景技術(shù)

近年來，云計算技術(shù)成為研究和應(yīng)用的熱點，特別是向執(zhí)行中的程序或虛擬機提供數(shù)據(jù)塊訪問服務(wù)的云存儲技術(shù)得到了飛速發(fā)展。將數(shù)據(jù)塊資源分散存儲于多個廉價的PC（個人電腦）存儲節(jié)點之上，而不是集中存儲在昂貴的大型存儲設(shè)備中，統(tǒng)一對虛擬機程序或執(zhí)行中程序提供數(shù)據(jù)塊/卷訪問服務(wù)已經(jīng)逐步成為主流系統(tǒng)架構(gòu)。在這些提供數(shù)據(jù)塊服務(wù)的云存儲系統(tǒng)中，往往通過數(shù)據(jù)多副本（2個以上）的形式保證數(shù)據(jù)的可靠性。

為了充分利用存儲資源和便于數(shù)據(jù)塊的統(tǒng)一管理，云存儲系統(tǒng)往往會將用戶數(shù)據(jù)卷切分成相同大小的多個數(shù)據(jù)片段（Chunk）進(jìn)行存放。為保證數(shù)據(jù)的可靠性，云存儲系統(tǒng)會為每個數(shù)據(jù)片段保存多個數(shù)據(jù)副本。同時，云存儲系統(tǒng)會保證相同數(shù)據(jù)片段的不同數(shù)據(jù)塊副本存儲在不同的PC存儲節(jié)點之上。為了保證用戶數(shù)據(jù)的訪問性能，不會被少數(shù)PC存儲節(jié)點的能力限制，云存儲系統(tǒng)會盡力保證所有數(shù)據(jù)片段在所有PC存儲節(jié)點上均衡存儲。

現(xiàn)有技術(shù)都是通過數(shù)據(jù)片段的均衡分布來保證云存儲系統(tǒng)的訪問性能，僅將多副本的數(shù)據(jù)片段均衡存儲到各個存儲節(jié)點之中，不加區(qū)分的對待所有數(shù)據(jù)片段，數(shù)據(jù)片段之間彼此獨立，沒有考慮數(shù)據(jù)片段訪問之間的相關(guān)性，不利于充分發(fā)揮云存儲系統(tǒng)的整體性能。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種云存儲系統(tǒng)的數(shù)據(jù)處理方法及裝置，能夠提高云存儲系統(tǒng)的數(shù)據(jù)訪問性能。

為解決上述技術(shù)問題，本發(fā)明的實施例提供技術(shù)方案如下：

一方面，提供一種云存儲系統(tǒng)的數(shù)據(jù)處理方法，應(yīng)用于云存儲系統(tǒng)的存儲節(jié)點，所述方法包括：

獲取云存儲系統(tǒng)中每個數(shù)據(jù)片段在預(yù)設(shè)時間周期內(nèi)的總讀寫頻率；

根據(jù)所述總讀寫頻率將存儲節(jié)點上的數(shù)據(jù)片段劃分為多個數(shù)據(jù)片段組，每個數(shù)據(jù)片段組均包含有K個數(shù)據(jù)片段，K為所述存儲節(jié)點上磁盤的數(shù)量；

將同一數(shù)據(jù)片段組內(nèi)的數(shù)據(jù)片段存儲在存儲節(jié)點中不同的磁盤上。

進(jìn)一步地，上述方案中，所述獲取云存儲系統(tǒng)中每個數(shù)據(jù)片段在預(yù)設(shè)時間周期內(nèi)的總讀寫頻率之前還包括：

將供用戶訪問的數(shù)據(jù)卷劃分為成多個相同大小的數(shù)據(jù)片段，每個數(shù)據(jù)片段具有其唯一的順序編號；

將同一數(shù)據(jù)片段的不同副本分別存儲在云存儲系統(tǒng)中不同的存儲節(jié)點上。

進(jìn)一步地，上述方案中，所述獲取云存儲系統(tǒng)中每個數(shù)據(jù)片段在預(yù)設(shè)時間周期內(nèi)的總讀寫頻率包括：

記錄每個存儲節(jié)點上每個數(shù)據(jù)片段在單位時間周期內(nèi)的讀寫次數(shù)，根據(jù)所記錄的讀寫次數(shù)計算每個存儲節(jié)點上每個數(shù)據(jù)片段在預(yù)設(shè)時間周期內(nèi)的讀寫頻率；

獲取云存儲系統(tǒng)中所有存儲節(jié)點上每個數(shù)據(jù)片段在預(yù)設(shè)時間周期內(nèi)的讀寫頻率；

累加所有存儲節(jié)點上同一數(shù)據(jù)片段的讀寫頻率，得到云存儲系統(tǒng)中每個數(shù)據(jù)片段在預(yù)設(shè)時間周期內(nèi)的總讀寫頻率。

進(jìn)一步地，上述方案中，所述根據(jù)所述總讀寫頻率將存儲節(jié)點上的數(shù)據(jù)片段劃分為多個數(shù)據(jù)片段組包括：

將存儲節(jié)點上總讀寫頻率最高的m個數(shù)據(jù)片段劃分為多個數(shù)據(jù)片段組，其中，m小于存儲節(jié)點上數(shù)據(jù)片段總數(shù)目。

進(jìn)一步地，上述方案中，m為存儲節(jié)點上數(shù)據(jù)片段總數(shù)目的20～30%。

進(jìn)一步地，上述方案中，所述將同一數(shù)據(jù)片段組內(nèi)的數(shù)據(jù)片段存儲在存儲節(jié)點中不同的磁盤上之后還包括：

當(dāng)存儲節(jié)點上的某一數(shù)據(jù)片段被讀取時，將所述數(shù)據(jù)片段所處數(shù)據(jù)片段組的其它數(shù)據(jù)片段并發(fā)讀取到存儲節(jié)點的內(nèi)存中。

本發(fā)明實施例還提供了一種云存儲系統(tǒng)的數(shù)據(jù)處理裝置，應(yīng)用于云存儲系統(tǒng)的存儲節(jié)點，所述裝置包括：

數(shù)據(jù)片段統(tǒng)計模塊，用于獲取云存儲系統(tǒng)中每個數(shù)據(jù)片段在預(yù)設(shè)時間周期內(nèi)的總讀寫頻率；

數(shù)據(jù)管理模塊，用于根據(jù)所述總讀寫頻率將存儲節(jié)點上的數(shù)據(jù)片段劃分為多個數(shù)據(jù)片段組，將同一數(shù)據(jù)片段組內(nèi)的數(shù)據(jù)片段存儲在不同的磁盤上，其中，每個數(shù)據(jù)片段組均包含有K個數(shù)據(jù)片段，K為所述存儲節(jié)點上磁盤的數(shù)量。

進(jìn)一步地，上述方案中，所述數(shù)據(jù)片段統(tǒng)計模塊具體用于記錄每個存儲節(jié)點上每個數(shù)據(jù)片段在單位時間周期內(nèi)的讀寫次數(shù)，根據(jù)所記錄的讀寫次數(shù)計算每個存儲節(jié)點上每個數(shù)據(jù)片段在預(yù)設(shè)時間周期內(nèi)的讀寫頻率，獲取云存儲系統(tǒng)中所有存儲節(jié)點上每個數(shù)據(jù)片段在預(yù)設(shè)時間周期內(nèi)的讀寫頻率，累加所有存儲節(jié)點上同一數(shù)據(jù)片段的讀寫頻率，得到云存儲系統(tǒng)中每個數(shù)據(jù)片段在預(yù)設(shè)時間周期內(nèi)的總讀寫頻率。