[發(fā)明專利]一種用于分布式集群存儲(chǔ)上的文件自精簡(jiǎn)方法及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201810005599.6
• 申請(qǐng)日: 2018-01-03
• 公開(kāi)（公告）號(hào): CN108073723A
• 公開(kāi)（公告）日: 2018-05-25
• 發(fā)明（設(shè)計(jì)）人: 陳保平
• 申請(qǐng)（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 濟(jì)南舜源專利事務(wù)所有限公司 37205
• 代理人: 張亮

本發(fā)明提供用于分布式集群存儲(chǔ)上的文件自精簡(jiǎn)方法及設(shè)備，方法包括：為目錄或用戶分配存儲(chǔ)空間配額；實(shí)時(shí)統(tǒng)計(jì)目錄或用戶數(shù)據(jù)操作過(guò)程中的存儲(chǔ)空間配額使用信息；上報(bào)所述配額使用信息；根據(jù)上報(bào)的配額使用信息控制目錄或用戶數(shù)據(jù)操作。通過(guò)上述方法，可以更好的為目標(biāo)用戶自動(dòng)預(yù)分配一定量的空間，當(dāng)達(dá)到預(yù)分配的空間時(shí)，禁止任何引起目錄變大的操作。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)服務(wù)器領(lǐng)域，尤其涉及一種用于分布式集群存儲(chǔ)上的文件自精簡(jiǎn)方法及設(shè)備。

背景技術(shù)

隨著時(shí)代的發(fā)展，大量的數(shù)據(jù)文件產(chǎn)生，計(jì)算機(jī)通過(guò)文件系統(tǒng)管理、存儲(chǔ)數(shù)據(jù)，單純通過(guò)增加硬盤個(gè)數(shù)來(lái)擴(kuò)展計(jì)算機(jī)文件系統(tǒng)的存儲(chǔ)容量的方式，在容量大小、容量增長(zhǎng)速度、數(shù)據(jù)備份、數(shù)據(jù)安全等方面的表現(xiàn)都差強(qiáng)人意。分布式文件系統(tǒng)可以有效解決數(shù)據(jù)的存儲(chǔ)和管理難題將固定于某個(gè)地點(diǎn)的某個(gè)文件系統(tǒng)，擴(kuò)展到任意多個(gè)地點(diǎn)/多個(gè)文件系統(tǒng)，眾多的節(jié)點(diǎn)組成一個(gè)文件系統(tǒng)網(wǎng)絡(luò)。每個(gè)節(jié)點(diǎn)可以分布在不同的地點(diǎn)，通過(guò)網(wǎng)絡(luò)進(jìn)行節(jié)點(diǎn)間的通信和數(shù)據(jù)傳輸，建立龐大的集群系統(tǒng)。人們?cè)谑褂梅植际轿募到y(tǒng)時(shí)，無(wú)需關(guān)心數(shù)據(jù)是存儲(chǔ)在哪個(gè)節(jié)點(diǎn)上、或者是從哪個(gè)節(jié)點(diǎn)從獲取的，只需要像使用本地文件系統(tǒng)一樣管理和存儲(chǔ)文件系統(tǒng)中的數(shù)據(jù)。分布式文件系統(tǒng)在海量存儲(chǔ)中發(fā)揮著獨(dú)一無(wú)二的優(yōu)勢(shì)。

分布式集群存儲(chǔ)通過(guò)fuse(用戶空間文件系統(tǒng))客戶端、CIFS共享和NFS共享等服務(wù)可以很好的為視頻監(jiān)控、廣電媒資、高性能等各項(xiàng)場(chǎng)景提供很好的服務(wù)，然而在傳統(tǒng)的資源分配方法中，需要系統(tǒng)管理員對(duì)當(dāng)前和未來(lái)業(yè)務(wù)的發(fā)展規(guī)模進(jìn)行正確的預(yù)判，提前做好空間資源的規(guī)劃。但是這并非易事，在實(shí)際中，由于對(duì)應(yīng)用系統(tǒng)規(guī)模的估計(jì)不準(zhǔn)，往往會(huì)造成存儲(chǔ)空間分配的浪費(fèi)，比如為一個(gè)目錄分配了10TB的空間，但是該目錄只需要6TB的存儲(chǔ)空間，就造成了4TB存儲(chǔ)空間的浪費(fèi)，而該空間已經(jīng)被分配，亦無(wú)法再次進(jìn)行分配使用。即使是最優(yōu)秀的系統(tǒng)管理員，也不可能恰如其分的分配好所有資源，而沒(méi)有一點(diǎn)浪費(fèi)。根據(jù)業(yè)界的權(quán)威統(tǒng)計(jì)，由于預(yù)分配了太大的存儲(chǔ)空間而導(dǎo)致的資源浪費(fèi)，大約占總存儲(chǔ)空間的30％左右。

發(fā)明內(nèi)容

為解決上述技術(shù)問(wèn)題，本發(fā)明提出了以下方案：

第一方面，本發(fā)明提供一種用于分布式集群存儲(chǔ)上的文件自精簡(jiǎn)方法，包括：

為目錄或用戶分配存儲(chǔ)空間配額；

實(shí)時(shí)統(tǒng)計(jì)目錄或用戶數(shù)據(jù)操作過(guò)程中的存儲(chǔ)空間配額使用信息；

上報(bào)所述配額使用信息；

根據(jù)上報(bào)的配額使用信息控制目錄或用戶數(shù)據(jù)操作。

進(jìn)一步的，所述配額包括軟配額及硬配額或預(yù)分配空間值。

進(jìn)一步的，配額還包括預(yù)警配額。

進(jìn)一步的，軟配額值小于硬配額值或預(yù)分配空間值，預(yù)警配額值小于等于軟配額值，硬配額值或預(yù)分配空間值大于系統(tǒng)總空間。

進(jìn)一步的，根據(jù)上報(bào)的配額使用信息控制目錄或用戶數(shù)據(jù)操作，包括：

判斷上報(bào)的配額使用信息是否超出軟配額值或預(yù)警配額值；

若超出，則輸出告警信息到系統(tǒng)日志，并繼續(xù)進(jìn)行目錄或用戶數(shù)據(jù)操作；

若未超出，則繼續(xù)進(jìn)行目錄或用戶數(shù)據(jù)操作。

進(jìn)一步的，根據(jù)上報(bào)的配額使用信息控制目錄或用戶數(shù)據(jù)操作，還包括：

判斷上報(bào)的配額使用信息是否超出硬配額值或預(yù)分配空間值；

若超出，禁止目錄或用戶數(shù)據(jù)操作，并輸出錯(cuò)誤信息到系統(tǒng)日志；

若未超出，則繼續(xù)進(jìn)行目錄或用戶數(shù)據(jù)操作。

進(jìn)一步的，方法還包括：

在配額使用信息超出軟配額值或預(yù)警配額值時(shí)，增加軟配額值或預(yù)警配額值。