[發(fā)明專利]一種文件聚合方法及相關(guān)裝置

在審

• 申請?zhí)枺?/td>: 202011139102.3
• 申請日: 2020-10-22
• 公開（公告）號: CN112269763A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 張其萬;孟祥瑞
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16;G06F16/182
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 丁曼曼

本申請公開了一種文件聚合方法，包括：按照遞歸順序?qū)邮盏降哪繕?biāo)目錄進(jìn)行目錄遍歷處理，得到所述目標(biāo)目錄下對應(yīng)的所有目錄的路徑信息；獲取所述所有目錄的路徑信息對應(yīng)下的文件大小小于預(yù)設(shè)值的目標(biāo)文件；將所有目標(biāo)文件寫入預(yù)設(shè)的聚合文件，以便實(shí)現(xiàn)文件聚合操作。通過遍歷后獲取到所有目錄的路徑信息，然后針對每個(gè)路徑信息的目標(biāo)文件進(jìn)行文件數(shù)據(jù)聚合，實(shí)現(xiàn)了針對多目錄的文件聚合操作，提高了聚合效率，同時(shí)通過聚合文件降低了小文件對存儲系統(tǒng)的影響。本申請還公開了一種文件聚合裝置、服務(wù)器以及計(jì)算機(jī)可讀存儲介質(zhì)，具有以上有益效果。

技術(shù)領(lǐng)域

本申請涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種文件聚合方法、文件聚合裝置、服務(wù)器以及計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

隨著數(shù)據(jù)存儲技術(shù)的不斷發(fā)展，出現(xiàn)了分布式存儲系統(tǒng)。分布式存儲系統(tǒng)，是將數(shù)據(jù)分散存儲在多臺獨(dú)立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù)，存儲服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿足大規(guī)模存儲應(yīng)用的需要。

相關(guān)技術(shù)中，在互聯(lián)網(wǎng)時(shí)代，存儲設(shè)備中以圖片為主的海量小文件成為現(xiàn)實(shí)，海量小文件可能需要占用比實(shí)際所需的更多底層對象，此外，海量小文件會(huì)對日志文件系統(tǒng)的性能、故障場景數(shù)據(jù)恢復(fù)以及磁盤利用率等有影響。當(dāng)存儲系統(tǒng)中某一個(gè)磁盤或節(jié)點(diǎn)出現(xiàn)故障，會(huì)產(chǎn)生長時(shí)間的故障恢復(fù)，故障恢復(fù)過程中對其他的節(jié)點(diǎn)或磁盤也會(huì)產(chǎn)生較大的壓力。長時(shí)間的磁盤壓力過大，也會(huì)引起磁盤故障率上升，從而引起惡性循環(huán)，更嚴(yán)重的是影響客戶的前端業(yè)務(wù)和數(shù)據(jù)的安全。也就是說，海量的小文件的存儲會(huì)導(dǎo)致存儲系統(tǒng)的性能下降，出現(xiàn)各種存儲問題。

因此，如何避免大量小文件對存儲系統(tǒng)造成影響是本領(lǐng)域技術(shù)人員關(guān)注的重點(diǎn)問題。

發(fā)明內(nèi)容

本申請的目的是提供一種文件聚合方法、文件聚合裝置、服務(wù)器以及計(jì)算機(jī)可讀存儲介質(zhì)，通過遍歷后獲取到所有目錄的路徑信息，然后針對每個(gè)路徑信息的目標(biāo)文件進(jìn)行文件數(shù)據(jù)聚合，實(shí)現(xiàn)了針對多目錄的文件聚合操作，提高了聚合效率，同時(shí)通過聚合文件降低了小文件對存儲系統(tǒng)的影響。

為解決上述技術(shù)問題，本申請?zhí)峁┮环N文件聚合方法，包括：

按照遞歸順序?qū)邮盏降哪繕?biāo)目錄進(jìn)行目錄遍歷處理，得到所述目標(biāo)目錄下對應(yīng)的所有目錄的路徑信息；

獲取所述所有目錄的路徑信息對應(yīng)下的文件大小小于預(yù)設(shè)值的目標(biāo)文件；

將所有目標(biāo)文件寫入預(yù)設(shè)的聚合文件，以便實(shí)現(xiàn)文件聚合操作。

可選的，還包括：

當(dāng)所述目標(biāo)文件寫入所述聚合文件后，將所述目標(biāo)文件對應(yīng)的底層對象數(shù)據(jù)進(jìn)行刪除。

可選的，按照遞歸順序?qū)邮盏降哪繕?biāo)目錄進(jìn)行目錄遍歷處理，得到所述目標(biāo)目錄下對應(yīng)的所有目錄的路徑信息，包括：

接收所述目標(biāo)目錄；

按照遞歸順序?qū)λ瞿繕?biāo)目錄下的所有子目錄進(jìn)行遍歷，得到所述所有目錄的路徑信息。

可選的，將所有目標(biāo)文件寫入預(yù)設(shè)的聚合文件，以便實(shí)現(xiàn)文件聚合操作，包括：

將所有目標(biāo)文件依次寫入預(yù)設(shè)文件大小的多個(gè)聚合文件，以便實(shí)現(xiàn)文件聚合操作。

可選的，將所有目標(biāo)文件寫入預(yù)設(shè)的聚合文件，以便實(shí)現(xiàn)文件聚合操作，包括：

將預(yù)設(shè)文件數(shù)量的多個(gè)目標(biāo)文件寫入預(yù)設(shè)的聚合文件，以便實(shí)現(xiàn)文件聚合操作。

可選的，還包括：

判斷聚合過程線程數(shù)是否大于預(yù)設(shè)線程數(shù)；若是，則執(zhí)行等待處理操作。

本申請還提供一種文件聚合裝置，包括：