[發(fā)明專(zhuān)利]基于web端的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011125393.0
• 申請(qǐng)日: 2020-10-20
• 公開(kāi)（公告）號(hào): CN112149026B
• 公開(kāi)（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 岳國(guó)軍;李頤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京天華星航科技有限公司
• 主分類(lèi)號(hào): G06F16/957
• 分類(lèi)號(hào): G06F16/957;G06F16/27
• 代理公司: 北京鍾維聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 11579
• 代理人: 丁慧玲

本發(fā)明涉及一種基于web端的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括處理器和存儲(chǔ)有計(jì)算機(jī)程序的存儲(chǔ)器，n組容器文件CF＝{CF₁，CF₂，......，CF_n}和web端；當(dāng)計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)以下步驟：步驟S10、獲取待存儲(chǔ)的文件大小Fsize0；步驟S20、將Fsize0與Q相比較，若Fsize0＝Q，則根據(jù)Fsize0從所述CF中選擇目標(biāo)容器文件組CF_x，判斷CF_x中的所有k個(gè)容器文件的剩余連續(xù)空間是否都小于Fsize0，若是，則在內(nèi)存中創(chuàng)建CF_x對(duì)應(yīng)的第k+1個(gè)容器文件作為目標(biāo)容器CF_xy，此時(shí)，y＝k+1,否則，從CF_x選擇目標(biāo)容器CF_xy，此時(shí)，y＝1,2…k，將待存儲(chǔ)的文件存儲(chǔ)到CF_xy中；步驟S30、獲取CF_xy的剩余存儲(chǔ)空間，若CF_xy的剩余存儲(chǔ)空間為0，則將CF_xy作為一個(gè)文件進(jìn)行分布式存儲(chǔ)，釋放CF_xy的存儲(chǔ)空間。本發(fā)明提高了具有低頻訪問(wèn)特點(diǎn)的小文件的存儲(chǔ)效率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種基于web端的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)。

背景技術(shù)

人工智能、物聯(lián)網(wǎng)、傳感器網(wǎng)絡(luò)、科學(xué)實(shí)驗(yàn)等應(yīng)用中均會(huì)產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)種類(lèi)繁多，大小不一，不僅包括海量的大文件(大于預(yù)設(shè)的文件大小閾值Q)，也包括海量的小文件(小于預(yù)設(shè)的文件大小閾值Q)。特別是小文件的數(shù)量將達(dá)到千萬(wàn)級(jí)、億級(jí)甚至十億、百億級(jí)。海量小文件體量龐大，但目前的分布式文件系統(tǒng)大都是匹配大文件場(chǎng)景的，對(duì)于海量小文件情況下，存儲(chǔ)處理性能極差。

文件存儲(chǔ)系統(tǒng)用于進(jìn)行文件的讀和寫(xiě)。分布式文件存儲(chǔ)系統(tǒng)中，小文件如何進(jìn)行讀和寫(xiě)的優(yōu)化，一直是研究的熱點(diǎn)。但是現(xiàn)有的用于小文件存儲(chǔ)的文件存儲(chǔ)系統(tǒng)通常是兼顧文件的讀和寫(xiě)的性能設(shè)計(jì)。但是，對(duì)于具有低頻訪問(wèn)特點(diǎn)的小文件的存儲(chǔ)，應(yīng)該關(guān)注寫(xiě)性能，而不需要同時(shí)兼顧讀性能，若同時(shí)兼顧兩者，會(huì)導(dǎo)致文件存儲(chǔ)效率低。因此，如何提高具有低頻訪問(wèn)特點(diǎn)的小文件的存儲(chǔ)效率成為亟待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明目的在于，提供一種基于web端的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)，提高了具有低頻訪問(wèn)特點(diǎn)的小文件的存儲(chǔ)效率。

本發(fā)明提供了一種基于web端的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括處理器和存儲(chǔ)有計(jì)算機(jī)程序的存儲(chǔ)器，n組容器文件CF＝{CF₁，CF₂，......，CF_n}和web端，其中，CF_i為第i組容器文件，i＝1,2…n，每組容器文件包括一個(gè)或多個(gè)容器文件，CF_i＝(CF_i1，CF_i2，......)，每組容器文件CF_i對(duì)應(yīng)的CF_ij都相同,j＝1,2…；所述CF_i的存儲(chǔ)為順序存儲(chǔ)，所述CF_i為易失性文件，當(dāng)CF_ij被小文件填充滿(mǎn)后，將所述CF_ij中當(dāng)前存儲(chǔ)的數(shù)據(jù)存儲(chǔ)到非易失性存儲(chǔ)介質(zhì)上；所有CF_ij的存儲(chǔ)空間均為固定值S，不同的CF_i對(duì)應(yīng)的CF_ij的存儲(chǔ)空間具有不同的原子存儲(chǔ)塊，所述原子存儲(chǔ)塊為CF_i的最小存儲(chǔ)空間，所述CFi的原子存儲(chǔ)塊的存儲(chǔ)空間為A_i，A_i/A_i+1＝固定值，i的取值從1到n-1；所述web端用于接收用戶(hù)輸入的S、A_i和預(yù)設(shè)的文件大小閾值Q的具體數(shù)值來(lái)配置所述S、Q和A_i；

當(dāng)所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)以下步驟：

步驟S10、獲取待存儲(chǔ)的文件大小Fsize0；