[發(fā)明專(zhuān)利]一種數(shù)據(jù)存儲(chǔ)方法、裝置及電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911243219.3
• 申請(qǐng)日: 2019-12-06
• 公開(kāi)（公告）號(hào): CN111104063A
• 公開(kāi)（公告）日: 2020-05-05
• 發(fā)明（設(shè)計(jì)）人: 馮龍;何營(yíng);白戰(zhàn)豪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06;G06F16/17
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 史翠

本申請(qǐng)公開(kāi)了一種數(shù)據(jù)存儲(chǔ)方法、裝置及一種電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該方法包括：當(dāng)接收到第一目標(biāo)對(duì)象的寫(xiě)入請(qǐng)求時(shí)，確定第一目標(biāo)對(duì)象對(duì)應(yīng)的第一目標(biāo)聚合文件，在第一目標(biāo)聚合文件中確定第一目標(biāo)對(duì)象的第一對(duì)象偏移；確定寫(xiě)入請(qǐng)求在目標(biāo)對(duì)應(yīng)中的寫(xiě)請(qǐng)求偏移和寫(xiě)請(qǐng)求長(zhǎng)度，基于第一對(duì)象偏移和寫(xiě)請(qǐng)求偏移確定寫(xiě)入請(qǐng)求對(duì)應(yīng)的起始位置；基于起始位置和寫(xiě)請(qǐng)求長(zhǎng)度將寫(xiě)入請(qǐng)求對(duì)應(yīng)的寫(xiě)入數(shù)據(jù)寫(xiě)入第一目標(biāo)聚合文件中，并更新第一目標(biāo)對(duì)象的元數(shù)據(jù)。本申請(qǐng)?zhí)峁┑臄?shù)據(jù)存儲(chǔ)方法，通過(guò)聚合文件的空間管理模塊實(shí)現(xiàn)對(duì)數(shù)據(jù)空間的分配和釋放，減少文件系統(tǒng)層對(duì)小文件的頻繁操作，從而提升性能。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，更具體地說(shuō)，涉及一種數(shù)據(jù)存儲(chǔ)方法、裝置及一種電子設(shè)備和一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在分布式塊存儲(chǔ)系統(tǒng)中，需要將為用戶(hù)提供的塊設(shè)備進(jìn)行條帶化，以一定的大小如4MB進(jìn)行等大小切分，形成一個(gè)個(gè)的條帶單元，將這些條帶單元數(shù)據(jù)隨機(jī)分布放置在不同存儲(chǔ)節(jié)點(diǎn)的硬盤(pán)上。其中，負(fù)責(zé)每個(gè)硬盤(pán)數(shù)據(jù)的存儲(chǔ)和管理的模塊稱(chēng)為存儲(chǔ)引擎，在存儲(chǔ)引擎中存儲(chǔ)的一個(gè)個(gè)條帶單元稱(chēng)為對(duì)象，由于塊存儲(chǔ)本身的特性，每個(gè)對(duì)象的大小都是固定的。

在存儲(chǔ)引擎上，通常會(huì)將物理磁盤(pán)進(jìn)行格式化，將每個(gè)對(duì)象以單個(gè)文件的方式存儲(chǔ)在格式化后的文件系統(tǒng)中，這就是現(xiàn)有的存儲(chǔ)引擎數(shù)據(jù)存儲(chǔ)方式。在現(xiàn)有的數(shù)據(jù)存儲(chǔ)方式下，存儲(chǔ)引擎上的每個(gè)文件代表了所存儲(chǔ)的一個(gè)對(duì)象的數(shù)據(jù)。當(dāng)數(shù)據(jù)量足夠多時(shí)，就需要?jiǎng)?chuàng)建海量的對(duì)象文件，對(duì)塊設(shè)備的寫(xiě)入和刪除，會(huì)導(dǎo)致對(duì)海量文件的頻繁創(chuàng)建、刪除、打開(kāi)、關(guān)閉等操作，這些操作勢(shì)必會(huì)對(duì)性能造成一定的影響。

因此，如何降低大量對(duì)象文件引起的性能損耗，并對(duì)大量對(duì)象數(shù)據(jù)進(jìn)行管理是本領(lǐng)域技術(shù)人員需要解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于提供一種數(shù)據(jù)存儲(chǔ)方法、裝置及一種電子設(shè)備和一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，降低大量對(duì)象文件引起的性能損耗，并對(duì)大量對(duì)象數(shù)據(jù)進(jìn)行管理。

為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)存儲(chǔ)方法，應(yīng)用于分布式存儲(chǔ)系統(tǒng)，包括：

當(dāng)接收到第一目標(biāo)對(duì)象的寫(xiě)入請(qǐng)求時(shí)，確定所述第一目標(biāo)對(duì)象對(duì)應(yīng)的第一目標(biāo)聚合文件，在所述第一目標(biāo)聚合文件中確定所述第一目標(biāo)對(duì)象的第一對(duì)象偏移；

確定所述寫(xiě)入請(qǐng)求在所述目標(biāo)對(duì)應(yīng)中的寫(xiě)請(qǐng)求偏移和寫(xiě)請(qǐng)求長(zhǎng)度，基于所述第一對(duì)象偏移和所述寫(xiě)請(qǐng)求偏移確定所述寫(xiě)入請(qǐng)求對(duì)應(yīng)的起始位置；

基于所述起始位置和所述寫(xiě)請(qǐng)求長(zhǎng)度將所述寫(xiě)入請(qǐng)求對(duì)應(yīng)的寫(xiě)入數(shù)據(jù)寫(xiě)入所述第一目標(biāo)聚合文件中，并更新所述第一目標(biāo)對(duì)象的元數(shù)據(jù)。

其中，所述確定所述第一目標(biāo)對(duì)象對(duì)應(yīng)的第一目標(biāo)聚合文件，包括：

基于條帶分配原則確定所述第一目標(biāo)對(duì)象對(duì)應(yīng)的存儲(chǔ)引擎；

根據(jù)所述第一目標(biāo)對(duì)象的名稱(chēng)在所述存儲(chǔ)引擎上確定所述第一目標(biāo)對(duì)象對(duì)應(yīng)的第一目標(biāo)聚合文件。

其中，所述第一目標(biāo)對(duì)象的元數(shù)據(jù)包括所述第一目標(biāo)對(duì)象的名稱(chēng)、所述目標(biāo)聚合文件的標(biāo)識(shí)、所述第一目標(biāo)對(duì)象的大小、所述第一對(duì)象偏移和所有已寫(xiě)入數(shù)據(jù)信息。

其中，還包括：

當(dāng)接收到第二目標(biāo)對(duì)象的讀取請(qǐng)求時(shí)，確定所述第二目標(biāo)對(duì)象對(duì)應(yīng)的第二目標(biāo)聚合文件，在所述第二目標(biāo)聚合文件中確定所述第二目標(biāo)對(duì)象的第二對(duì)象偏移；

根據(jù)所述第二對(duì)象偏移、所述讀取請(qǐng)求中的讀請(qǐng)求偏移和讀請(qǐng)求長(zhǎng)度確定所述讀取請(qǐng)求對(duì)應(yīng)的目標(biāo)數(shù)據(jù)片段；

讀取并返回所述目標(biāo)數(shù)據(jù)片段中的數(shù)據(jù)內(nèi)容。

其中，所述讀取并返回所述目標(biāo)數(shù)據(jù)片段中的數(shù)據(jù)內(nèi)容，包括：

確定所述第二目標(biāo)對(duì)象的已寫(xiě)入數(shù)據(jù)信息，并根據(jù)所述已寫(xiě)入數(shù)據(jù)信息確定在所述目標(biāo)數(shù)據(jù)片段中確定硬盤(pán)擁有的數(shù)據(jù)片段；