[發(fā)明專利]分布式文件系統(tǒng)及其存儲海量小文件的方法

有效

• 申請?zhí)枺?/td>: 201510443330.2
• 申請日: 2015-07-24
• 公開（公告）號: CN105138571B
• 公開（公告）日: 2019-12-24
• 發(fā)明（設(shè)計(jì)）人: 楊雪蓮;李強(qiáng);姜韜
• 申請（專利權(quán)）人: 四川長虹電器股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172
• 代理公司: 51213 四川省成都市天策商標(biāo)專利事務(wù)所
• 代理人: 劉渝

本發(fā)明涉及數(shù)據(jù)存儲領(lǐng)域，提供一種分布式文件系統(tǒng)及其存儲海量小文件的方法，以解決目前的海量小文件存儲的效率較低的問題，該系統(tǒng)包括客戶端、資源定位模塊和數(shù)據(jù)存儲模塊。本發(fā)明提出的技術(shù)方案將小文件合并成大文件來存儲，通過定位到大文件的指定位置來訪問小文件，減少了對文件的讀寫次數(shù)，簡化了IO訪問流程，提高了文件系統(tǒng)的處理性能。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲領(lǐng)域，特別涉及一種分布式文件系統(tǒng)及其存儲海量小文件的方法。

背景技術(shù)

如今，人類已經(jīng)步入信息化時(shí)代，各行各業(yè)產(chǎn)生的數(shù)據(jù)信息總量正呈現(xiàn)爆炸式地增長，例如，紐約證券交易所一天產(chǎn)生的數(shù)據(jù)可以達(dá)到一個(gè)T的級別，著名的社交網(wǎng)站Facebook在全球擁有上億的用戶，因此需要存儲的用戶數(shù)據(jù)非常龐大，在這些龐大的用戶數(shù)據(jù)中，海量小文件所占的比重正逐漸增大。在這種大背景下，如何將這些由社會化網(wǎng)絡(luò)、移動通信、網(wǎng)絡(luò)視頻音頻、科學(xué)實(shí)驗(yàn)等各種應(yīng)用產(chǎn)生的文件數(shù)據(jù)進(jìn)行有效地、安全地存儲并且能方便用戶隨時(shí)查找，已成為信息化時(shí)代亟待解決的難題。通常認(rèn)為大小在1MB以內(nèi)的文件為小文件，百萬級數(shù)量及以上稱為海量，數(shù)據(jù)越龐大，需要存儲空間就越多，此時(shí)如果繼續(xù)采用傳統(tǒng)的存儲方式不僅成本非常高，而且也較復(fù)雜。因此如何用普通的硬件來實(shí)現(xiàn)海量數(shù)據(jù)的存儲，逐漸成為熱點(diǎn)課題，分布式文件系統(tǒng)在這種大背景下應(yīng)運(yùn)而生。

分布式文件系統(tǒng)，是一種允許文件通過網(wǎng)絡(luò)在多臺主機(jī)上分享的文件系統(tǒng)，分布式文件系統(tǒng)可以讓多臺機(jī)器上的多用戶分享文件和存儲空間。分布式文件系統(tǒng)最大的一個(gè)特性叫做通透性，在分布式文件系統(tǒng)中，訪問文件上的數(shù)據(jù)實(shí)際上是通過網(wǎng)絡(luò)來實(shí)現(xiàn)的，但是在用戶看來，訪問分布式文件系統(tǒng)與訪問本地磁盤文件是一樣的。在處理海量小文件的問題上，由于海量小文件需要的存儲容量巨大，文件系統(tǒng)的處理性能會受到顯著的影響，在文件系統(tǒng)中，由于文件的索引節(jié)點(diǎn)和數(shù)據(jù)保存在存儲器的不同位置上，因此訪問一個(gè)文件時(shí)就需要經(jīng)歷多次獨(dú)立的隨機(jī)訪問，但是在大并發(fā)量的情況下，這種隨機(jī)訪問對于磁盤系統(tǒng)來說是非常低效的。

發(fā)明內(nèi)容

【要解決的技術(shù)問題】

本發(fā)明的目的是提供一種分布式文件系統(tǒng)及其存儲小文件的方法，以解決目前的海量小文件存儲的效率較低的問題。

【技術(shù)方案】

本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的。

本發(fā)明首先涉及一種分布式文件系統(tǒng)，包括客戶端、資源定位模塊和數(shù)據(jù)存儲模塊，

所述客戶端被配置成：向資源定位模塊發(fā)送小文件上傳請求、將小文件上傳至數(shù)據(jù)存儲模塊；

所述資源定位模塊包括至少一個(gè)資源定位器，所述資源定位器被配置成：處理客戶端發(fā)送的小文件上傳請求、為客戶端分配源節(jié)點(diǎn)、指定數(shù)據(jù)存儲服務(wù)器中的一個(gè)數(shù)據(jù)存儲節(jié)點(diǎn)作為合并存儲的主服務(wù)器，所述主服務(wù)器被配置成：為小文件分配空閑存儲單元并完成小文件的合并存儲、將小文件的存儲信息同步到與主服務(wù)器同組的其他數(shù)據(jù)存儲節(jié)點(diǎn)，所述源節(jié)點(diǎn)為資源定位器查詢得到的可用的數(shù)據(jù)存儲節(jié)點(diǎn)，所述源節(jié)點(diǎn)被配置成：將上傳的小文件主動推送至與其同組的其他數(shù)據(jù)存儲節(jié)點(diǎn)；

所述數(shù)據(jù)存儲模塊包括至少一組數(shù)據(jù)存儲服務(wù)器，所述數(shù)據(jù)存儲服務(wù)器包括至少一個(gè)數(shù)據(jù)存儲節(jié)點(diǎn)，所述數(shù)據(jù)存儲模塊被配置成用于實(shí)現(xiàn)小文件的存儲、同步。

作為一種優(yōu)選的實(shí)施方式，所述數(shù)據(jù)存儲節(jié)點(diǎn)的存儲空間包括大小相等的多個(gè)存儲單元，所述存儲單元包括最小存儲空間和最大存儲空間，所述主服務(wù)器被配置成：當(dāng)上傳的小文件小于最小存儲空間時(shí)，則上傳的小文件占用一個(gè)存儲空間；當(dāng)上傳的小文件大于最大存儲空間時(shí)，則上傳的小文件作為一個(gè)單獨(dú)的文件存儲。

作為另一種優(yōu)選的實(shí)施方式，所述主服務(wù)器還包括為各個(gè)數(shù)據(jù)存儲節(jié)點(diǎn)分配的以空閑存儲單元大小作為關(guān)鍵字的平衡二叉樹，所述平衡二叉樹用于保存空閑存儲單元。