[發(fā)明專利]基于時(shí)序聚合算法的海量小文件實(shí)時(shí)存儲(chǔ)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201611104325.X
• 申請(qǐng)日: 2016-12-05
• 公開（公告）號(hào): CN106776967B
• 公開（公告）日: 2020-03-27
• 發(fā)明（設(shè)計(jì)）人: 朱東杰;張凱;趙奇隆;杜海文;曲榮寧;顧天凱;逄志弘;毛尉茜;李亞;彭暄
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)（威海）;威海翰寶網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/172;G06F16/13
• 代理公司: 北京怡豐知識(shí)產(chǎn)權(quán)代理有限公司 11293
• 代理人: 孫小棟;于振強(qiáng)

本發(fā)明涉及一種基于時(shí)序聚合算法的海量小文件實(shí)時(shí)存儲(chǔ)方法及裝置，其解決了現(xiàn)有分布式文件系統(tǒng)用于海量小文件時(shí)存在的存儲(chǔ)效率低的技術(shù)問題，其采用數(shù)據(jù)聚合策略以數(shù)據(jù)的時(shí)間特性定義聚合空間，完成時(shí)序數(shù)據(jù)合并存儲(chǔ)，通過將隨機(jī)寫轉(zhuǎn)化為順序?qū)懀景l(fā)明可廣泛應(yīng)用于海量小文件的存儲(chǔ)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種文件存儲(chǔ)方法及裝置，特別是涉及一種基于時(shí)序聚合算法的海量小文件實(shí)時(shí)存儲(chǔ)方法及裝置。

背景技術(shù)

現(xiàn)有的分布式文件系統(tǒng)，包括底層的本地文件系統(tǒng)，主要應(yīng)用于大文件的處理，針對(duì)海量小文件，在元數(shù)據(jù)管理、數(shù)據(jù)布局及緩存管理等過程實(shí)現(xiàn)方面造成存儲(chǔ)性能的大幅降低，具體表現(xiàn)為：

(1)元數(shù)據(jù)管理低效。分布式文件系統(tǒng)在設(shè)計(jì)上側(cè)重于大尺寸文件高聚合帶寬。就本地磁盤的文件系統(tǒng)而言，訪問一個(gè)文件需要經(jīng)過至少三次獨(dú)立的訪問，包括目錄項(xiàng)、索引結(jié)點(diǎn)和數(shù)據(jù)。并發(fā)訪問小文件帶來大量低效的隨機(jī)訪問。同時(shí)，由于單個(gè)目錄元數(shù)據(jù)組織能力低效，大量的小文件通常采用多級(jí)目錄組織存儲(chǔ)。隨著目錄層次的深入，文件的訪問效率進(jìn)一步下降。而對(duì)于分布式文件系統(tǒng)而言，大量的小文件存儲(chǔ)將產(chǎn)生過多的元數(shù)據(jù)，加大了主控服務(wù)元數(shù)據(jù)管理的資源消耗，增大了主控服務(wù)器負(fù)載。

(2)數(shù)據(jù)布局低效。磁盤文件系統(tǒng)通常以塊作為磁盤數(shù)據(jù)的組織單位并通過索引節(jié)點(diǎn)索引文件的數(shù)據(jù)塊。在存儲(chǔ)數(shù)據(jù)時(shí)文件系統(tǒng)往往優(yōu)先考慮大文件讀寫帶寬。在進(jìn)行大文件寫入時(shí)，文件的數(shù)據(jù)塊會(huì)被系統(tǒng)盡可能的連續(xù)分配，使文件的多個(gè)數(shù)據(jù)塊間具有很好的空間局部性。而在進(jìn)行小文件寫入時(shí)，系統(tǒng)消耗大量索引節(jié)點(diǎn)，同時(shí)使數(shù)據(jù)塊分配更加分散無序。由于數(shù)據(jù)塊隨機(jī)分布在磁盤上的不同物理位置，磁盤碎片化嚴(yán)重，造成存儲(chǔ)空間的浪費(fèi)。

(3)緩存管理低效。在分布式存儲(chǔ)服務(wù)器端Cache設(shè)計(jì)中，大量小文件的隨機(jī)性訪問導(dǎo)致過低的Cache命中率，造成小文件訪問額外的開銷。而客戶端Cache的有效性往往局限于所在本地機(jī)器。當(dāng)用戶從不同終端讀取同一文件時(shí)需將數(shù)據(jù)拷貝到本地客戶端緩存中并且當(dāng)Cache中數(shù)據(jù)存在更新時(shí)，需通知所有緩存了該數(shù)據(jù)的客戶端進(jìn)行數(shù)據(jù)更新或無效化。

發(fā)明內(nèi)容

本發(fā)明就是為了解決現(xiàn)有分布式文件系統(tǒng)用于海量小文件時(shí)存在的存儲(chǔ)效率低的技術(shù)問題，提供一種存儲(chǔ)效率高的基于時(shí)序聚合算法的海量小文件實(shí)時(shí)存儲(chǔ)方法及裝置。

本發(fā)明的有益效果是：基于時(shí)序隊(duì)列的數(shù)據(jù)聚合，采用時(shí)序數(shù)據(jù)聚合策略將小文件批量寫入合并文件，減少索引結(jié)點(diǎn)的消耗并將隨機(jī)寫轉(zhuǎn)化為順序?qū)懀岣邤?shù)據(jù)的存儲(chǔ)效率。同時(shí)，可建立二級(jí)索引機(jī)制用于聚合數(shù)據(jù)中小文件的讀取，將索引信息邏輯分割將部分負(fù)載分配給存儲(chǔ)節(jié)點(diǎn)，減小代理節(jié)點(diǎn)的負(fù)載壓力，索引維護(hù)代價(jià)更低。

本發(fā)明在Swift海量小文件對(duì)象存儲(chǔ)系統(tǒng)中增加數(shù)據(jù)聚合存儲(chǔ)方法，在數(shù)據(jù)量如表1中是得到的性能對(duì)比如圖5和圖6所示。本發(fā)明較現(xiàn)有海量小文件存儲(chǔ)方法的性能具有顯著提升。

表1是實(shí)驗(yàn)基本數(shù)據(jù)

附圖說明

圖1是基于時(shí)序聚合算法的海量小文件實(shí)時(shí)存儲(chǔ)方法的總體架構(gòu)圖；

圖2是海量小文件實(shí)時(shí)存儲(chǔ)系統(tǒng)的示意圖；

圖3是聚合數(shù)據(jù)讀取流程圖；

圖4是聚合數(shù)據(jù)讀取流程圖；

圖5是本發(fā)明較Swift原始方法寫入性能對(duì)比結(jié)果；

圖6是本發(fā)明較Swift原始方法數(shù)據(jù)讀取時(shí)間對(duì)比結(jié)果。

附圖中符號(hào)說明：

10.時(shí)序數(shù)據(jù)聚合存儲(chǔ)模塊；20.二級(jí)索引機(jī)制數(shù)據(jù)讀取模塊；11.數(shù)據(jù)預(yù)處理模塊；12.數(shù)據(jù)邏輯聚合模塊；13.數(shù)據(jù)物理映射模塊；14.數(shù)據(jù)物理聚合模塊。

具體實(shí)施方式