[發(fā)明專利]一種消冗文件系統(tǒng)及其數(shù)據(jù)部署方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410717339.3
• 申請(qǐng)日: 2014-12-01
• 公開(kāi)（公告）號(hào): CN104408141B
• 公開(kāi)（公告）日: 2018-04-17
• 發(fā)明（設(shè)計(jì)）人: 吳震;陳訓(xùn)遜;王洋;薛晨;謝銘;孫憲武
• 申請(qǐng)（專利權(quán)）人: 國(guó)家計(jì)算機(jī)網(wǎng)絡(luò)與信息安全管理中心;北京賽思信安技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京永創(chuàng)新實(shí)專利事務(wù)所11121
• 代理人: 趙文穎

1.一種消冗文件系統(tǒng)，包括文件系統(tǒng)數(shù)據(jù)接收模塊，數(shù)據(jù)分塊模塊，數(shù)據(jù)塊管理模塊，數(shù)據(jù)塊存儲(chǔ)模塊和數(shù)據(jù)塊索引存儲(chǔ)模塊,初始時(shí)設(shè)定一個(gè)局部區(qū)域大小，將接收到的亂序的數(shù)據(jù)塊分別分配到對(duì)應(yīng)的局部區(qū)域，對(duì)于局部數(shù)據(jù)塊再分別進(jìn)行依次寫入，具體執(zhí)行過(guò)程如下：

所述文件系統(tǒng)數(shù)據(jù)接收模塊接收NFS協(xié)議傳輸過(guò)來(lái)的數(shù)據(jù)流；

所述數(shù)據(jù)分塊模塊將接收到的數(shù)據(jù)流切分成數(shù)據(jù)塊；

所述數(shù)據(jù)塊管理模塊將切分好的數(shù)據(jù)塊分配到數(shù)據(jù)域的數(shù)據(jù)塊隊(duì)列，然后再判斷數(shù)據(jù)塊在數(shù)據(jù)域內(nèi)部是否嚴(yán)格順序或者滿足操作系統(tǒng)預(yù)讀的邏輯順序，根據(jù)內(nèi)存管理模塊判定規(guī)則決定數(shù)據(jù)塊是繼續(xù)緩存還是寫入數(shù)據(jù)文件內(nèi)；所述的嚴(yán)格順序是指按照數(shù)據(jù)塊在文件內(nèi)的順序分塊依次排列；所述的判定規(guī)則是指根據(jù)緩存設(shè)定的閾值來(lái)判定，超出給定預(yù)定值則認(rèn)為直接寫入，否則繼續(xù)緩存；

所述數(shù)據(jù)存儲(chǔ)模塊根據(jù)數(shù)據(jù)塊管理模塊分配的任務(wù)來(lái)對(duì)數(shù)據(jù)塊進(jìn)行存儲(chǔ)；將收到的數(shù)據(jù)塊存儲(chǔ)到文件內(nèi)，同時(shí)返回給用戶數(shù)據(jù)塊存儲(chǔ)位置信息，用戶根據(jù)返回的位置信息及計(jì)算出的指紋組成三級(jí)索引進(jìn)行存儲(chǔ)；

所述數(shù)據(jù)塊索引存儲(chǔ)模塊根據(jù)數(shù)據(jù)塊存儲(chǔ)模塊生成的數(shù)據(jù)塊索引；

所述的數(shù)據(jù)塊管理模塊包括數(shù)據(jù)域分配模塊，數(shù)據(jù)塊隊(duì)列緩存模塊，數(shù)據(jù)塊局部順序判斷模塊，內(nèi)存管理模塊；

所述數(shù)據(jù)域分配模塊是指根據(jù)所收到的數(shù)據(jù)塊的全局序號(hào)和數(shù)據(jù)域分配規(guī)則來(lái)對(duì)數(shù)據(jù)塊進(jìn)行數(shù)據(jù)域分配，數(shù)據(jù)塊為變長(zhǎng)；

所述數(shù)據(jù)塊隊(duì)列緩存模塊對(duì)于數(shù)據(jù)域分配模塊生成的鏡像隊(duì)列，用來(lái)緩存被判斷為非順序的數(shù)據(jù)塊；

所述數(shù)據(jù)塊局部順序判斷模塊通過(guò)數(shù)據(jù)塊的全局序號(hào)和其所在隊(duì)列的被標(biāo)記為入庫(kù)的序號(hào)比對(duì)，如果滿足嚴(yán)格順序或者是相對(duì)順序的則交由內(nèi)存管理模塊根據(jù)閾值確定是緩存還是強(qiáng)行寫入數(shù)據(jù)文件；

所述內(nèi)存管理模塊對(duì)消冗文件系統(tǒng)內(nèi)全部數(shù)據(jù)塊緩存域緩存空間申請(qǐng)釋放管理的功能，保證寫入數(shù)據(jù)塊的順序性的同時(shí)兼顧系統(tǒng)性能。