[發(fā)明專利]混合存儲(chǔ)系統(tǒng)及文件的自適應(yīng)備份方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011016120.2
• 申請(qǐng)日: 2020-09-24
• 公開(kāi)（公告）號(hào): CN112084156A
• 公開(kāi)（公告）日: 2020-12-15
• 發(fā)明（設(shè)計(jì)）人: 臧其事;趙可欣;吳曉峰
• 申請(qǐng)（專利權(quán)）人: 中國(guó)農(nóng)業(yè)銀行股份有限公司上海市分行
• 主分類號(hào): G06F16/172
• 分類號(hào): G06F16/172;G06F16/182;G06F11/14
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 陸嘉

本發(fā)明揭示了一種混合存儲(chǔ)系統(tǒng)。文件入口組件接收待備份的文件，文件入口組件生成文件的元數(shù)據(jù)，元數(shù)據(jù)記錄文件的活躍程度、文件大小、在線備份時(shí)間。文件分發(fā)組件具有規(guī)則控制器，規(guī)則控制器對(duì)元數(shù)據(jù)應(yīng)用分發(fā)規(guī)則，獲得目標(biāo)存儲(chǔ)器，分發(fā)規(guī)則與文件的活躍程度、文件大小、在線備份時(shí)間相關(guān)，文件分發(fā)組件將文件發(fā)送至目標(biāo)存儲(chǔ)器。大文件在線存儲(chǔ)集群存儲(chǔ)文件大小大于尺寸閾值、活躍程度小于活躍閾值、在線備份時(shí)間尚未到期的文件。小文件在線存儲(chǔ)集群存儲(chǔ)文件大小不大于尺寸閾值、活躍程度小于活躍閾值、在線備份時(shí)間尚未到期的文件。熱點(diǎn)數(shù)據(jù)緩存集群存儲(chǔ)活躍程度不小于活躍閾值的文件。永久備份庫(kù)存儲(chǔ)在線備份時(shí)間已到期的文件。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，更具體地說(shuō)，涉及海量數(shù)據(jù)的備份技術(shù)。

背景技術(shù)

在金融領(lǐng)域每天會(huì)產(chǎn)生海量數(shù)據(jù)，比如在銀行業(yè)，單個(gè)地區(qū)分行每天產(chǎn)生的數(shù)據(jù)文件的數(shù)量在3000個(gè)以上。由于金融行業(yè)的特殊性，所有的數(shù)據(jù)都要求具有歷史追溯的功能，因此對(duì)于這些數(shù)據(jù)都必須進(jìn)行備份保存。每天需要備份的新數(shù)據(jù)文件的數(shù)量為3000+，再加上數(shù)據(jù)卸出備份產(chǎn)生的數(shù)據(jù)文件，每天需要備份的是海量的數(shù)據(jù)。

目前采用的文件備份的模式是NAS加帶庫(kù)的備份模式。NAS即網(wǎng)絡(luò)附屬存儲(chǔ)，是一種特殊的專用數(shù)據(jù)存儲(chǔ)服務(wù)器，包括存儲(chǔ)器件(例如磁盤(pán)陣列、CD/DVD驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器或可移動(dòng)的存儲(chǔ)介質(zhì))和內(nèi)嵌系統(tǒng)軟件，可提供跨平臺(tái)文件共享功能。NAS通常在一個(gè)LAN上占有自己的節(jié)點(diǎn)，無(wú)需應(yīng)用服務(wù)器的干預(yù)，允許用戶在網(wǎng)絡(luò)上存取數(shù)據(jù)，在這種配置中，NAS集中管理和處理網(wǎng)絡(luò)上的所有數(shù)據(jù)，將負(fù)載從應(yīng)用或企業(yè)服務(wù)器上卸載下來(lái)，有效降低總擁有成本。NAS通過(guò)網(wǎng)絡(luò)直接連接磁盤(pán)儲(chǔ)存陣列，磁陣列具備了高容量、高效能、高可靠等特征。而帶庫(kù)是磁帶機(jī)的升級(jí)產(chǎn)品。帶庫(kù)一般由多個(gè)機(jī)械臂、磁頭和帶艙組成，是用于海量數(shù)據(jù)離線存儲(chǔ)和備份的設(shè)備。在NAS加帶庫(kù)的備份模式中，NAS用于存放在線數(shù)據(jù)，帶庫(kù)用于存放離線數(shù)據(jù)。

NAS加帶庫(kù)的備份模式在文件備份時(shí)采用直接備份、大小文件統(tǒng)一存放的方式。沒(méi)有配置描述文件屬性的元數(shù)據(jù)，也未對(duì)文件大小進(jìn)行區(qū)分，各個(gè)文件是按照順序連續(xù)存在NAS或者帶庫(kù)中。這種存儲(chǔ)方式存在如下的缺點(diǎn)：

1)大小文件不加區(qū)分地統(tǒng)一存放，使得整體的存儲(chǔ)空間的使用效率和性價(jià)比都比較低，尤其在恢復(fù)文件時(shí)，需要對(duì)整塊存儲(chǔ)區(qū)域進(jìn)行恢復(fù)，缺乏規(guī)劃的存儲(chǔ)方式容易造成文件恢復(fù)時(shí)的額外工作量。

2)由于存儲(chǔ)空間的使用效率較低，導(dǎo)致NAS的存儲(chǔ)效率不高，在NAS實(shí)現(xiàn)成本較高的背景下，NAS的總存儲(chǔ)容量有限，使得在線數(shù)據(jù)的存儲(chǔ)量比較有限，在線存儲(chǔ)的數(shù)據(jù)較少。在線存儲(chǔ)數(shù)據(jù)偏少會(huì)導(dǎo)致需要更多地從帶庫(kù)恢復(fù)數(shù)據(jù)，這樣恢復(fù)數(shù)據(jù)的成本就比較高。

3)由于缺乏描述文件屬性的元數(shù)據(jù)，導(dǎo)致缺乏統(tǒng)一的數(shù)據(jù)管理和歷史追溯，需要通過(guò)連續(xù)恢復(fù)文件的方式來(lái)實(shí)現(xiàn)數(shù)據(jù)追溯，操作效率很低，恢復(fù)成本較高。

發(fā)明內(nèi)容

本發(fā)明提出針對(duì)海量數(shù)據(jù)存儲(chǔ)的存儲(chǔ)系統(tǒng)以及文件備份方法。

根據(jù)本發(fā)明的一實(shí)施例，提出一種混合存儲(chǔ)系統(tǒng)，包括：文件入口組件、文件分發(fā)組件、大文件在線存儲(chǔ)集群、小文件在線存儲(chǔ)集群、熱點(diǎn)數(shù)據(jù)緩存集群和永久備份庫(kù)。文件入口組件接收待備份的文件，文件入口組件生成文件的元數(shù)據(jù)，元數(shù)據(jù)記錄文件的活躍程度、文件大小、在線備份時(shí)間。文件分發(fā)組件具有規(guī)則控制器，規(guī)則控制器對(duì)元數(shù)據(jù)應(yīng)用分發(fā)規(guī)則，獲得目標(biāo)存儲(chǔ)器，分發(fā)規(guī)則與文件的活躍程度、文件大小、在線備份時(shí)間相關(guān)，文件分發(fā)組件將文件發(fā)送至目標(biāo)存儲(chǔ)器。大文件在線存儲(chǔ)集群存儲(chǔ)文件大小大于尺寸閾值、活躍程度小于活躍閾值、在線備份時(shí)間尚未到期的文件。小文件在線存儲(chǔ)集群存儲(chǔ)文件大小不大于尺寸閾值、活躍程度小于活躍閾值、在線備份時(shí)間尚未到期的文件。熱點(diǎn)數(shù)據(jù)緩存集群存儲(chǔ)活躍程度不小于活躍閾值的文件。永久備份庫(kù)存儲(chǔ)在線備份時(shí)間已到期的文件。