[發(fā)明專利]一種云存儲(chǔ)系統(tǒng)中提升性能的數(shù)據(jù)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310494892.0
• 申請(qǐng)日: 2013-10-22
• 公開（公告）號(hào): CN103530388A
• 公開（公告）日: 2014-01-22
• 發(fā)明（設(shè)計(jì)）人: 劉剛
• 申請(qǐng)（專利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種云存儲(chǔ)系統(tǒng)中提升性能的數(shù)據(jù)處理方法，包括元數(shù)據(jù)管理系統(tǒng)、在線數(shù)據(jù)存儲(chǔ)系統(tǒng)、近線數(shù)據(jù)存儲(chǔ)系統(tǒng)、離線數(shù)據(jù)存儲(chǔ)系統(tǒng)以及客戶端，其特征在于：

所述元數(shù)據(jù)管理系統(tǒng)與客戶端之間只進(jìn)行控制信號(hào)的傳輸，不進(jìn)行存儲(chǔ)數(shù)據(jù)流的傳輸；

客戶端與在線數(shù)據(jù)存儲(chǔ)系統(tǒng)之間進(jìn)行存儲(chǔ)數(shù)據(jù)流傳輸；

其中，在線數(shù)據(jù)存儲(chǔ)系統(tǒng)效率高，成本也高，用來存放系統(tǒng)訪問頻繁的活躍數(shù)據(jù)；

近線數(shù)據(jù)存儲(chǔ)系統(tǒng)效率中等，成本中等，主要存放一些活躍差，有訪問要求但非熱點(diǎn)數(shù)據(jù)；

離線數(shù)據(jù)存儲(chǔ)系統(tǒng)成本低，訪問效率低，主要用來系統(tǒng)歸檔和備份，存放不活躍的非熱點(diǎn)數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種云存儲(chǔ)系統(tǒng)中提升性能的數(shù)據(jù)處理方法，其特征在于：數(shù)據(jù)傳輸時(shí)，大于閾值的數(shù)據(jù)文件均勻分割為各個(gè)數(shù)據(jù)塊，分布式存儲(chǔ)在每個(gè)在線數(shù)據(jù)存儲(chǔ)系統(tǒng)上，通過數(shù)據(jù)管理系統(tǒng)的控制，保證單個(gè)數(shù)據(jù)文件讀寫并發(fā)進(jìn)行。

3.根據(jù)權(quán)利要求1所述的一種云存儲(chǔ)系統(tǒng)中提升性能的數(shù)據(jù)處理方法，其特征在于：系統(tǒng)由元數(shù)據(jù)管理系統(tǒng)自動(dòng)跟蹤數(shù)據(jù)的訪問頻率，數(shù)據(jù)在在線數(shù)據(jù)存儲(chǔ)系統(tǒng)、近線數(shù)據(jù)存儲(chǔ)系統(tǒng)和離線數(shù)據(jù)存儲(chǔ)系統(tǒng)中自動(dòng)流動(dòng)，流動(dòng)的同時(shí)會(huì)將上一級(jí)的備份刪除，并在元數(shù)據(jù)管理系統(tǒng)中進(jìn)行索引的備份，以保證資源的利用率和訪問的有效性。

4.根據(jù)權(quán)利要求1，2或3所述的一種云存儲(chǔ)系統(tǒng)中提升性能的數(shù)據(jù)處理方法，其特征在于：客戶端寫數(shù)據(jù)時(shí)，數(shù)據(jù)被分成各個(gè)規(guī)范的數(shù)據(jù)塊，且每個(gè)寫數(shù)據(jù)塊根據(jù)以下步驟進(jìn)行操作，最終做到并發(fā)寫入，縮短整體寫入時(shí)間，提升性能目的：

客戶端向元數(shù)據(jù)管理系統(tǒng)發(fā)起數(shù)據(jù)寫請(qǐng)求；

元數(shù)據(jù)管理系統(tǒng)根據(jù)其管理的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)的工作和使用情況，根據(jù)負(fù)載均衡的方法，計(jì)算出可以存放數(shù)據(jù)的目的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)，在目的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)上創(chuàng)建新的數(shù)據(jù)塊；

目的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)的數(shù)據(jù)塊創(chuàng)建成功，將結(jié)果返回給元數(shù)據(jù)管理系統(tǒng)；

元數(shù)據(jù)管理系統(tǒng)備份并同步此數(shù)據(jù)信息，并將目的在線存儲(chǔ)系統(tǒng)的相關(guān)信息返回給客戶端；

客戶端根據(jù)得到的目的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)相關(guān)信息，向?qū)?yīng)目的存儲(chǔ)節(jié)點(diǎn)發(fā)出數(shù)據(jù)寫請(qǐng)求，并向目的在線存儲(chǔ)系統(tǒng)發(fā)送數(shù)據(jù)；

目的在線存儲(chǔ)節(jié)點(diǎn)接收到數(shù)據(jù)并將之存儲(chǔ)到對(duì)應(yīng)數(shù)據(jù)塊，同時(shí)也向其他在線數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行備份；

當(dāng)本地?cái)?shù)據(jù)寫入并備份完成后，目的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)將完成信息返回給客戶端；

客戶端收到完成信息后，完成數(shù)據(jù)的寫入。

5.根據(jù)權(quán)利要求1，2或3所述的一種云存儲(chǔ)系統(tǒng)中提升性能的數(shù)據(jù)處理方法，其特征在于：數(shù)據(jù)寫入時(shí)，先暫存在當(dāng)前的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)中，若訪問頻率高，則位置不會(huì)變動(dòng)，若后續(xù)該數(shù)據(jù)訪問頻率變低，該數(shù)據(jù)會(huì)在元數(shù)據(jù)管理系統(tǒng)的指揮下，自行遷移到近線數(shù)據(jù)存儲(chǔ)系統(tǒng)中，乃至最后遷移到離線數(shù)據(jù)存儲(chǔ)系統(tǒng)中。

6.根據(jù)權(quán)利要求1，2或3所述的一種云存儲(chǔ)系統(tǒng)中提升性能的數(shù)據(jù)處理方法，其特征在于：客戶端讀數(shù)據(jù)時(shí)，讀取內(nèi)容由多個(gè)讀數(shù)據(jù)塊組成，每個(gè)讀數(shù)據(jù)塊根據(jù)以下步驟進(jìn)行操作，并行的從數(shù)據(jù)存儲(chǔ)系統(tǒng)中讀數(shù)據(jù)塊：

客戶端根據(jù)讀數(shù)據(jù)文件時(shí)，將請(qǐng)求提交給元數(shù)據(jù)服務(wù)系統(tǒng)，發(fā)起數(shù)據(jù)讀請(qǐng)求；

元數(shù)據(jù)管理系統(tǒng)查詢索引列表，返回該數(shù)據(jù)所在的數(shù)據(jù)存儲(chǔ)系統(tǒng)的列表，每個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)列表包括每個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)的地址和序號(hào)；

客戶端向讀寫請(qǐng)求數(shù)最少的數(shù)據(jù)存儲(chǔ)系統(tǒng)發(fā)送讀數(shù)據(jù)請(qǐng)求；

數(shù)據(jù)存儲(chǔ)系統(tǒng)從本地文件系統(tǒng)讀出數(shù)據(jù)塊，并返回?cái)?shù)據(jù)塊給客戶端。

7.根據(jù)權(quán)利要求1，2或3所述的一種云存儲(chǔ)系統(tǒng)中提升性能的數(shù)據(jù)處理方法，其特征在于：數(shù)據(jù)讀取時(shí)，當(dāng)元數(shù)據(jù)管理系統(tǒng)查找到該數(shù)據(jù)位置，若該數(shù)據(jù)位于離線數(shù)據(jù)存儲(chǔ)系統(tǒng)或近線數(shù)據(jù)存儲(chǔ)系統(tǒng)，則會(huì)自動(dòng)遷移到近線數(shù)據(jù)存儲(chǔ)系統(tǒng)，然后再遷移到在線數(shù)據(jù)存儲(chǔ)系統(tǒng)，或者直接遷移到在線數(shù)據(jù)存儲(chǔ)系統(tǒng)中。