[發(fā)明專(zhuān)利]基于混合存儲(chǔ)的數(shù)據(jù)管理系統(tǒng)、方法、終端及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811383927.2
• 申請(qǐng)日: 2018-11-20
• 公開(kāi)（公告）號(hào): CN109491618A
• 公開(kāi)（公告）日: 2019-03-19
• 發(fā)明（設(shè)計(jì)）人: 殷樹(shù);鄧通亮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海科技大學(xué)
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06
• 代理公司: 上海光華專(zhuān)利事務(wù)所(普通合伙) 31219
• 代理人: 高彥

本申請(qǐng)?zhí)峁┗诨旌洗鎯?chǔ)的數(shù)據(jù)管理系統(tǒng)、方法、終端及介質(zhì)，其中，所述數(shù)據(jù)管理系統(tǒng)包括：第一文件系統(tǒng)掛載模塊，用于掛載至少一用戶(hù)態(tài)文件系統(tǒng)；第二文件系統(tǒng)掛載模塊，用于基于所述用戶(hù)態(tài)文件系統(tǒng)掛載至少兩個(gè)相互獨(dú)立的后端文件系統(tǒng)，以分別用于存放熱數(shù)據(jù)和冷數(shù)據(jù)；數(shù)據(jù)標(biāo)記模塊，用于標(biāo)記用戶(hù)數(shù)據(jù)請(qǐng)求以對(duì)用戶(hù)數(shù)據(jù)請(qǐng)求中的數(shù)據(jù)的冷熱屬性進(jìn)行標(biāo)簽；文件系統(tǒng)選擇模塊，用于根據(jù)數(shù)據(jù)的冷熱屬性對(duì)數(shù)據(jù)進(jìn)行存入對(duì)應(yīng)的后端文件系統(tǒng)和/或從對(duì)應(yīng)的后端文件系統(tǒng)中取出的管理操作。本申請(qǐng)達(dá)到了顯著的節(jié)能效果，且保證了存儲(chǔ)系統(tǒng)的可靠性，且沒(méi)有損壞數(shù)據(jù)的一致性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及基于混合存儲(chǔ)的數(shù)據(jù)管理系統(tǒng)、方法、終端及介質(zhì)。

背景技術(shù)

隨著國(guó)內(nèi)信息化建設(shè)的深入和移動(dòng)互聯(lián)網(wǎng)的發(fā)展，個(gè)人和企業(yè)所產(chǎn)生的數(shù)據(jù)量也越來(lái)越大，這也催生了許多公有或私有的云存儲(chǔ)中心，例如企業(yè)網(wǎng)內(nèi)部的私有云，落戶(hù)貴州的蘋(píng)果公司iCould數(shù)據(jù)中心等。但是越來(lái)越多的跡象表明，數(shù)據(jù)中心的能量消耗中超過(guò)27％是被存儲(chǔ)設(shè)備所使用的。隨著數(shù)據(jù)中心存儲(chǔ)容量的急劇上升，存儲(chǔ)設(shè)備所消耗的能量也在不斷的增加。為了減少存儲(chǔ)設(shè)備的能耗，達(dá)到經(jīng)濟(jì)和環(huán)境的雙重優(yōu)勢(shì)，優(yōu)化數(shù)據(jù)管理系統(tǒng)是非常必要的。

傳統(tǒng)的文件存儲(chǔ)系統(tǒng)，主要是依靠調(diào)整機(jī)械磁盤(pán)(Hard Disk Drive)的轉(zhuǎn)速或掛起不在使用的機(jī)械磁盤(pán)，以達(dá)到節(jié)能的目的。但是經(jīng)常性的啟停機(jī)械磁盤(pán)或改變其轉(zhuǎn)速，會(huì)嚴(yán)重影響它的壽命，對(duì)于數(shù)據(jù)的可靠性也十分不利。

隨著固態(tài)硬盤(pán)(Solid State Drive)的出現(xiàn)，存儲(chǔ)系統(tǒng)也開(kāi)始將固態(tài)硬盤(pán)納入其中。由于固態(tài)硬盤(pán)具有較高的隨機(jī)讀寫(xiě)性能以及低功耗的特點(diǎn)，這也為存儲(chǔ)系統(tǒng)的發(fā)展提出了新的設(shè)計(jì)理念。文件存儲(chǔ)系統(tǒng)開(kāi)始依據(jù)存儲(chǔ)介質(zhì)進(jìn)行層次化的劃分，將熱點(diǎn)數(shù)據(jù)存儲(chǔ)在固態(tài)硬盤(pán)上，將不常使用的數(shù)據(jù)(即冷數(shù)據(jù))存放在機(jī)械磁盤(pán)上，不僅能夠達(dá)到對(duì)熱點(diǎn)數(shù)據(jù)快速讀寫(xiě)的要求，也能夠達(dá)到一定程度的節(jié)能效果，這就是所謂的混合存儲(chǔ)系統(tǒng)。不過(guò)不同的存儲(chǔ)介質(zhì)的引入，對(duì)文件系統(tǒng)的管理提出了更高的要求，也帶來(lái)了對(duì)于數(shù)據(jù)分布均衡以及數(shù)據(jù)一致性的挑戰(zhàn)。

但是，傳統(tǒng)的混合存儲(chǔ)系統(tǒng)對(duì)于磁盤(pán)的壽命的影響比較顯著，頻繁地啟停機(jī)械磁盤(pán)會(huì)導(dǎo)致磁盤(pán)狀態(tài)不穩(wěn)定，減少磁盤(pán)壽命，嚴(yán)重的情況會(huì)導(dǎo)致數(shù)據(jù)丟失。

申請(qǐng)內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本申請(qǐng)的目的在于提供基于混合存儲(chǔ)的數(shù)據(jù)管理系統(tǒng)、方法、終端及介質(zhì)，用于解決現(xiàn)有技術(shù)中磁盤(pán)狀態(tài)不穩(wěn)定，磁盤(pán)壽命短等問(wèn)題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本申請(qǐng)的第一方面提供一種基于混合存儲(chǔ)的數(shù)據(jù)管理系統(tǒng)，其包括：第一文件系統(tǒng)掛載模塊，用于掛載至少一用戶(hù)態(tài)文件系統(tǒng)；第二文件系統(tǒng)掛載模塊，用于基于所述用戶(hù)態(tài)文件系統(tǒng)掛載至少兩個(gè)相互獨(dú)立的后端文件系統(tǒng)，以分別用于存放熱數(shù)據(jù)和冷數(shù)據(jù)；數(shù)據(jù)標(biāo)記模塊，用于標(biāo)記用戶(hù)數(shù)據(jù)請(qǐng)求以對(duì)用戶(hù)數(shù)據(jù)請(qǐng)求中的數(shù)據(jù)的冷熱屬性進(jìn)行標(biāo)簽；文件系統(tǒng)選擇模塊，用于根據(jù)數(shù)據(jù)的冷熱屬性對(duì)數(shù)據(jù)進(jìn)行存入對(duì)應(yīng)的后端文件系統(tǒng)和/或從對(duì)應(yīng)的后端文件系統(tǒng)中取出的管理操作。

在本申請(qǐng)第一方面的一些實(shí)施方式中，所述數(shù)據(jù)標(biāo)記模塊標(biāo)記用戶(hù)數(shù)據(jù)請(qǐng)求的方式包括：根據(jù)用戶(hù)配置信息和/或數(shù)據(jù)特征，定義寫(xiě)數(shù)據(jù)請(qǐng)求中的數(shù)據(jù)的冷熱屬性；根據(jù)用戶(hù)配置信息和/或系統(tǒng)記錄，定義讀數(shù)據(jù)請(qǐng)求中的數(shù)據(jù)的冷熱屬性。

在本申請(qǐng)第一方面的一些實(shí)施方式中，所述數(shù)據(jù)標(biāo)記模塊用于將待寫(xiě)入的全部數(shù)據(jù)統(tǒng)一標(biāo)記為熱數(shù)據(jù)或冷數(shù)據(jù)；所述文件系統(tǒng)選擇模塊用于將不符合訪(fǎng)問(wèn)頻率條件的寫(xiě)入數(shù)據(jù)從當(dāng)前冷熱屬性的后端文件系統(tǒng)遷移至另一冷熱屬性的后端文件系統(tǒng)。

在本申請(qǐng)第一方面的一些實(shí)施方式中，所述數(shù)據(jù)標(biāo)記模塊用于將待寫(xiě)入的全部數(shù)據(jù)統(tǒng)一標(biāo)記為熱數(shù)據(jù)；所述文件系統(tǒng)選擇模塊用于將所述數(shù)據(jù)標(biāo)記模塊標(biāo)記的熱數(shù)據(jù)存放至熱數(shù)據(jù)后端文件系統(tǒng)中，且記錄所述熱數(shù)據(jù)后端文件系統(tǒng)中的數(shù)據(jù)的訪(fǎng)問(wèn)頻率；所述數(shù)據(jù)標(biāo)記模塊還用于將訪(fǎng)問(wèn)頻率落入第一預(yù)設(shè)閾值范圍的數(shù)據(jù)標(biāo)記為冷數(shù)據(jù)；所述文件系統(tǒng)選擇模塊用于將所述數(shù)據(jù)標(biāo)記模塊標(biāo)記的冷數(shù)據(jù)遷移至冷數(shù)據(jù)后端文件系統(tǒng)中。