[發(fā)明專(zhuān)利]一種基于以太網(wǎng)的集群式多級(jí)存儲(chǔ)管理系統(tǒng)及方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 200710098948.5
• 申請(qǐng)日: 2007-04-30
• 公開(kāi)（公告）號(hào): CN101299695A
• 公開(kāi)（公告）日: 2008-11-05
• 發(fā)明（設(shè)計(jì)）人: 黃疆
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京亞細(xì)亞智業(yè)科技有限公司
• 主分類(lèi)號(hào): H04L12/28
• 分類(lèi)號(hào): H04L12/28;G06F12/08;H04L12/24
• 代理公司: 北京科龍寰宇知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司
• 代理人: 孫皓晨

技術(shù)領(lǐng)域

本發(fā)明涉及的是一種存儲(chǔ)數(shù)據(jù)的系統(tǒng)及方法，特別涉及的是一種基于以太網(wǎng)的集群式多級(jí)存儲(chǔ)管理系統(tǒng)及方法

背景技術(shù)

所謂數(shù)據(jù)的多級(jí)存儲(chǔ)，是指數(shù)據(jù)客體存放在不同級(jí)別的存儲(chǔ)設(shè)備(磁盤(pán)、磁盤(pán)陣列、光盤(pán)庫(kù)、磁帶庫(kù)等)中，通過(guò)多級(jí)存儲(chǔ)管理軟件實(shí)現(xiàn)數(shù)據(jù)客體在存儲(chǔ)設(shè)備之間的自動(dòng)遷移。數(shù)據(jù)遷移的規(guī)則是可以人為控制的，通常是根據(jù)數(shù)據(jù)的訪問(wèn)頻率、保留時(shí)間、容量、性能要求等因素來(lái)確定的最佳存儲(chǔ)策略。在多級(jí)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)中，磁帶庫(kù)等成本較低、速度慢的存儲(chǔ)資源用來(lái)存放訪問(wèn)頻率較低的信息，而磁盤(pán)或磁盤(pán)陣列等成本高、速度快的設(shè)備，用來(lái)存儲(chǔ)經(jīng)常訪問(wèn)的重要信息。

數(shù)據(jù)從產(chǎn)生到存儲(chǔ)、利用、歸檔，最后超過(guò)存儲(chǔ)期限被刪除，數(shù)據(jù)被讀取的頻率會(huì)逐漸下降，數(shù)據(jù)存儲(chǔ)的位置也應(yīng)該隨之變化，以提高存儲(chǔ)設(shè)備的使用率，降低存儲(chǔ)成本。以SAN(存儲(chǔ)區(qū)域網(wǎng))為核心的數(shù)據(jù)多級(jí)存儲(chǔ)管理(HierarchicalStorage?Management，HSM)模式應(yīng)用越來(lái)越普及，而在實(shí)際應(yīng)用過(guò)程事中，用戶通過(guò)以太網(wǎng)訪問(wèn)存儲(chǔ)在SAN中的數(shù)據(jù)，特別是在多并發(fā)狀態(tài)下訪問(wèn)近線、離線存儲(chǔ)區(qū)中的數(shù)據(jù)時(shí)，由于管理服務(wù)器(負(fù)責(zé)實(shí)現(xiàn)數(shù)據(jù)在在線、近線與離線存儲(chǔ)區(qū)間遷移和提供數(shù)據(jù)交互訪問(wèn)服務(wù))只有一臺(tái)，盡管其能控制多臺(tái)磁帶驅(qū)動(dòng)器，但在海量數(shù)據(jù)的遷移與訪問(wèn)時(shí)，將會(huì)造成服務(wù)器負(fù)載的雙重壓力，出現(xiàn)數(shù)據(jù)遷移速度及數(shù)據(jù)訪問(wèn)性能瓶頸，嚴(yán)重時(shí)可能出現(xiàn)系統(tǒng)癱瘓，不能發(fā)揮SAN的優(yōu)勢(shì)，影響應(yīng)用系統(tǒng)整體性能。

用戶在使用HSM相關(guān)軟件產(chǎn)品進(jìn)行存儲(chǔ)管理時(shí)，存在不可彌補(bǔ)的缺陷，主要表現(xiàn)在以下方面：

首先HSM相關(guān)軟件安裝在一臺(tái)服務(wù)器上，負(fù)責(zé)整個(gè)存儲(chǔ)系統(tǒng)的管理，并將數(shù)據(jù)共享給用戶。因系統(tǒng)只能運(yùn)行在一臺(tái)服務(wù)器上不支持服務(wù)器集群技術(shù)，任務(wù)處理能力有限，可擴(kuò)展性不強(qiáng)，若出現(xiàn)大量的并發(fā)數(shù)據(jù)訪問(wèn)任務(wù)時(shí)，系統(tǒng)將出現(xiàn)I/O瓶頸，嚴(yán)重時(shí)導(dǎo)致單點(diǎn)故障；

其次一個(gè)好的HSM軟件，數(shù)據(jù)遷移功能的設(shè)計(jì)尤為重要。HSM相關(guān)軟件安裝在一臺(tái)服務(wù)器上，負(fù)責(zé)整個(gè)存儲(chǔ)系統(tǒng)的管理，并按用戶既定的數(shù)據(jù)遷移規(guī)則，實(shí)現(xiàn)數(shù)據(jù)在各級(jí)存儲(chǔ)區(qū)間的自動(dòng)遷移。一般地，把在線存儲(chǔ)區(qū)中的數(shù)據(jù)遷移至近線、離線存儲(chǔ)區(qū)時(shí)，數(shù)據(jù)遷移可利用系統(tǒng)空閑時(shí)段進(jìn)行集中處理，但發(fā)生多并發(fā)訪問(wèn)近線、離線存儲(chǔ)區(qū)中的數(shù)據(jù)，特別是大數(shù)據(jù)量時(shí)，由于一臺(tái)服務(wù)器數(shù)據(jù)遷移速度及管理磁帶驅(qū)動(dòng)器能力有限，勢(shì)必出現(xiàn)遷移任務(wù)排隊(duì)現(xiàn)象，形成數(shù)據(jù)遷移瓶頸，嚴(yán)重時(shí)出現(xiàn)機(jī)器崩潰，最終導(dǎo)致業(yè)務(wù)處理系統(tǒng)等待、閑置；

再次HSM相關(guān)軟件在實(shí)現(xiàn)數(shù)據(jù)遷移時(shí)是以單個(gè)文件為單位，在讀寫(xiě)小而多的文件時(shí)，會(huì)因磁帶驅(qū)動(dòng)器讀寫(xiě)速度緩慢影響數(shù)據(jù)遷移速度；

最后由于HSM相關(guān)軟件產(chǎn)品的數(shù)據(jù)存儲(chǔ)、遷移的控制信號(hào)不能與數(shù)據(jù)的實(shí)際傳輸通路相分離，部分?jǐn)?shù)據(jù)仍然需要通過(guò)以太網(wǎng)來(lái)傳送，因此，數(shù)據(jù)遷移策略不能和磁盤(pán)陣列SAN共享技術(shù)并存；

為克服上述的技術(shù)缺陷，本發(fā)明創(chuàng)作人經(jīng)過(guò)長(zhǎng)時(shí)間的研究和開(kāi)發(fā)終于獲得本發(fā)明的產(chǎn)生。

發(fā)明內(nèi)容

本發(fā)明的目的在于，提供一種基于以太網(wǎng)的集群式多級(jí)存儲(chǔ)管理系統(tǒng)及方法，用以克服上述的技術(shù)缺陷。

為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案在于，提供一種基于以太網(wǎng)的集群式多級(jí)存儲(chǔ)管理系統(tǒng)，其包括：客戶端、存儲(chǔ)單元，控制調(diào)度單元，所述的存儲(chǔ)單元包括：在線存儲(chǔ)區(qū)、近線存儲(chǔ)區(qū)以及離線存儲(chǔ)區(qū)，其中，所述的控制調(diào)度單元包括：至少一網(wǎng)絡(luò)文件系統(tǒng)服務(wù)器、至少一數(shù)據(jù)遷移器以及一多級(jí)存儲(chǔ)管理數(shù)據(jù)服務(wù)器，通過(guò)以太網(wǎng)連接并相互傳輸命令；

所述的網(wǎng)絡(luò)文件系統(tǒng)服務(wù)器通過(guò)以太網(wǎng)與所述的客戶端相互連接，根據(jù)客戶端的訪問(wèn)請(qǐng)求提供相關(guān)數(shù)據(jù)信息；

所述數(shù)據(jù)遷移器接收遷移命令控制存儲(chǔ)單元中的數(shù)據(jù)從原始存儲(chǔ)位置遷移到目標(biāo)位置；

所述多級(jí)存儲(chǔ)管理數(shù)據(jù)服務(wù)器接收所述網(wǎng)絡(luò)文件系統(tǒng)服務(wù)器的訪問(wèn)指令，控制所述數(shù)據(jù)遷移器進(jìn)行對(duì)存儲(chǔ)單元數(shù)據(jù)的遷移操作；

所述的在線存儲(chǔ)區(qū)、近線存儲(chǔ)區(qū)以及離線存儲(chǔ)區(qū)通過(guò)存儲(chǔ)區(qū)域網(wǎng)相互連接進(jìn)行數(shù)據(jù)傳輸，所述的網(wǎng)絡(luò)文件系統(tǒng)服務(wù)器、數(shù)據(jù)遷移器以及多級(jí)存儲(chǔ)管理數(shù)據(jù)服務(wù)器也通過(guò)所述的存儲(chǔ)區(qū)域網(wǎng)實(shí)現(xiàn)對(duì)存儲(chǔ)單元的控制；

較佳的，所述的在線存儲(chǔ)區(qū)為至少一磁盤(pán)陣列構(gòu)成；

較佳的，所述的近線存儲(chǔ)區(qū)為磁帶庫(kù)或光盤(pán)庫(kù)；

較佳的，所述的離線存儲(chǔ)區(qū)為離線磁帶架或光盤(pán)架；

較佳的，還包括一作為緩沖池的低速磁盤(pán)陣列設(shè)置與所述在線存儲(chǔ)區(qū)與近線存儲(chǔ)區(qū)之間；

其次提供一種基于以太網(wǎng)的集群式多級(jí)存儲(chǔ)管理方法，其是通過(guò)上述基于以太網(wǎng)的集群式多級(jí)存儲(chǔ)管理系統(tǒng)實(shí)現(xiàn)的，其包括的步驟為：