[發(fā)明專利]一種云存儲(chǔ)系統(tǒng)中提升性能的數(shù)據(jù)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310494892.0
• 申請(qǐng)日: 2013-10-22
• 公開(kāi)（公告）號(hào): CN103530388A
• 公開(kāi)（公告）日: 2014-01-22
• 發(fā)明（設(shè)計(jì)）人: 劉剛
• 申請(qǐng)（專利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F3/06
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

????本發(fā)明涉及云存儲(chǔ)領(lǐng)域，特別是一種云存儲(chǔ)系統(tǒng)中提升訪問(wèn)性能的數(shù)據(jù)處理方法。

技術(shù)背景

在當(dāng)今的IT管理中，存在著不斷增長(zhǎng)的數(shù)據(jù)量，越來(lái)越大的集群應(yīng)用及云存儲(chǔ)系統(tǒng)投入到實(shí)際使用中，多用戶、多并發(fā)的訪問(wèn)要求也越來(lái)越多。

但現(xiàn)有技術(shù)的云存儲(chǔ)系統(tǒng)大都是串行存儲(chǔ)方法，其訪問(wèn)響應(yīng)、讀寫性能也在逐漸變差，無(wú)法應(yīng)對(duì)多客戶的密集海量存儲(chǔ)讀寫需求。

本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種云存儲(chǔ)系統(tǒng)中提升性能的數(shù)據(jù)處理方法。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題是：提供一種云存儲(chǔ)系統(tǒng)中提升性能的數(shù)據(jù)處理方法。

本發(fā)明所采用的技術(shù)方案為：一種云存儲(chǔ)系統(tǒng)中提升性能的數(shù)據(jù)處理方法，包括元數(shù)據(jù)管理系統(tǒng)、在線數(shù)據(jù)存儲(chǔ)系統(tǒng)、近線數(shù)據(jù)存儲(chǔ)系統(tǒng)、離線數(shù)據(jù)存儲(chǔ)系統(tǒng)以及客戶端，如圖1所示，

其中，所述元數(shù)據(jù)管理系統(tǒng)與客戶端之間只進(jìn)行控制信號(hào)的傳輸，不進(jìn)行存儲(chǔ)數(shù)據(jù)流的傳輸；

客戶端與在線數(shù)據(jù)存儲(chǔ)系統(tǒng)之間進(jìn)行存儲(chǔ)數(shù)據(jù)流傳輸；

其中，在線數(shù)據(jù)存儲(chǔ)系統(tǒng)效率高，成本也高，用來(lái)存放訪問(wèn)比較頻繁的活躍數(shù)據(jù)，比如數(shù)據(jù)庫(kù)、系統(tǒng)軟件、應(yīng)用軟件等熱點(diǎn)數(shù)據(jù)；

近線數(shù)據(jù)存儲(chǔ)系統(tǒng)效率中等，成本中等，主要存放一些活躍差的，有訪問(wèn)要求但非熱點(diǎn)數(shù)據(jù)，比如多媒體數(shù)據(jù)庫(kù)、文獻(xiàn)、備份等；

離線數(shù)據(jù)存儲(chǔ)系統(tǒng)成本低，訪問(wèn)效率低，主要用來(lái)系統(tǒng)歸檔和備份，一般用來(lái)存放非熱點(diǎn)數(shù)據(jù)。

相比較而言，在線數(shù)據(jù)存儲(chǔ)系統(tǒng)效率會(huì)比較高，成本也會(huì)比較高；近線數(shù)據(jù)存儲(chǔ)系統(tǒng)次之，離線數(shù)據(jù)存儲(chǔ)系統(tǒng)擁有最好的成本，但訪問(wèn)效率會(huì)比較低。

數(shù)據(jù)傳輸時(shí)，大于閾值的數(shù)據(jù)文件均勻分割為各個(gè)數(shù)據(jù)塊，分布式存儲(chǔ)在每個(gè)在線數(shù)據(jù)存儲(chǔ)系統(tǒng)上；通過(guò)數(shù)據(jù)管理系統(tǒng)的控制，保證單個(gè)數(shù)據(jù)文件讀寫并發(fā)進(jìn)行。

系統(tǒng)由元數(shù)據(jù)管理系統(tǒng)自動(dòng)跟蹤數(shù)據(jù)的訪問(wèn)頻率，數(shù)據(jù)在在線數(shù)據(jù)存儲(chǔ)系統(tǒng)、近線數(shù)據(jù)存儲(chǔ)系統(tǒng)和離線數(shù)據(jù)存儲(chǔ)系統(tǒng)中自動(dòng)流動(dòng)，流動(dòng)的同時(shí)會(huì)將上一級(jí)的備份刪除，并在元數(shù)據(jù)管理系統(tǒng)中進(jìn)行索引的備份，以保證資源的利用率和訪問(wèn)的有效性。

如圖2所示，客戶端寫數(shù)據(jù)時(shí)，數(shù)據(jù)被分成各個(gè)規(guī)范的數(shù)據(jù)塊，且每個(gè)寫數(shù)據(jù)塊根據(jù)以下步驟進(jìn)行操作，最終做到并發(fā)寫入，最終達(dá)到縮短整體寫入時(shí)間，提升性能目的：

（1）客戶端向元數(shù)據(jù)管理系統(tǒng)發(fā)起數(shù)據(jù)寫請(qǐng)求；

（2）元數(shù)據(jù)管理系統(tǒng)根據(jù)其管理的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)的工作和使用情況，根據(jù)負(fù)載均衡的方法，計(jì)算出可以存放數(shù)據(jù)的目的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)，在目的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)上創(chuàng)建新的數(shù)據(jù)塊；

（3）目的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)的數(shù)據(jù)塊創(chuàng)建成功，將結(jié)果返回給元數(shù)據(jù)管理系統(tǒng)；

（4）元數(shù)據(jù)管理系統(tǒng)備份并同步此數(shù)據(jù)信息，并將目的在線存儲(chǔ)系統(tǒng)的相關(guān)信息返回給客戶端；

（5）客戶端根據(jù)得到的目的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)相關(guān)信息，向?qū)?yīng)目的存儲(chǔ)節(jié)點(diǎn)發(fā)出數(shù)據(jù)寫請(qǐng)求，并向目的在線存儲(chǔ)系統(tǒng)發(fā)送數(shù)據(jù)；

（6）目的在線存儲(chǔ)節(jié)點(diǎn)接收到數(shù)據(jù)并將之存儲(chǔ)到對(duì)應(yīng)數(shù)據(jù)塊，同時(shí)也向其他在線數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行備份；

（7）當(dāng)本地?cái)?shù)據(jù)寫入并備份完成后，目的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)將完成信息返回給客戶端；

（8）客戶端收到完成信息后，即完成數(shù)據(jù)的寫入。

數(shù)據(jù)寫入時(shí)，暫存在當(dāng)前的在線數(shù)據(jù)存儲(chǔ)系統(tǒng)中，若訪問(wèn)頻率高，則位置不會(huì)變動(dòng)，若后續(xù)該數(shù)據(jù)訪問(wèn)頻率變低，該數(shù)據(jù)會(huì)在元數(shù)據(jù)管理系統(tǒng)的指揮下，自行遷移到近線數(shù)據(jù)存儲(chǔ)系統(tǒng)中，乃至最后遷移到離線數(shù)據(jù)存儲(chǔ)系統(tǒng)中。

客戶端讀數(shù)據(jù)時(shí)，讀取內(nèi)容一般由多個(gè)讀數(shù)據(jù)塊組成，每個(gè)讀數(shù)據(jù)塊根據(jù)以下步驟進(jìn)行操作，并行的從數(shù)據(jù)存儲(chǔ)系統(tǒng)中讀數(shù)據(jù)塊，具體流程如圖3所示。

（1）客戶端根據(jù)讀數(shù)據(jù)文件時(shí)，將請(qǐng)求提交給元數(shù)據(jù)服務(wù)系統(tǒng)，發(fā)起數(shù)據(jù)讀請(qǐng)求；

（2）元數(shù)據(jù)管理系統(tǒng)查詢索引列表，返回該數(shù)據(jù)所在的數(shù)據(jù)存儲(chǔ)系統(tǒng)的列表，每個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)列表包括每個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)的地址和序號(hào)；

（3）客戶端向讀寫請(qǐng)求數(shù)最少的數(shù)據(jù)存儲(chǔ)系統(tǒng)發(fā)送讀數(shù)據(jù)請(qǐng)求；

（4）數(shù)據(jù)存儲(chǔ)系統(tǒng)從本地文件系統(tǒng)讀出數(shù)據(jù)塊，并返回?cái)?shù)據(jù)塊給客戶端。

數(shù)據(jù)讀取時(shí)，當(dāng)元數(shù)據(jù)管理系統(tǒng)查找到該數(shù)據(jù)位置，若該數(shù)據(jù)位于離線數(shù)據(jù)存儲(chǔ)系統(tǒng)或近線數(shù)據(jù)存儲(chǔ)系統(tǒng)，則會(huì)自動(dòng)遷移到近線數(shù)據(jù)存儲(chǔ)系統(tǒng)，然后再遷移到在線數(shù)據(jù)存儲(chǔ)系統(tǒng)，或者直接遷移到在線數(shù)據(jù)存儲(chǔ)系統(tǒng)中。

本發(fā)明的有益效果為：

（1）云存儲(chǔ)系統(tǒng)中不同設(shè)備的有效利用