[發(fā)明專(zhuān)利]一種數(shù)據(jù)處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810105947.7
• 申請(qǐng)日: 2018-02-02
• 公開(kāi)（公告）號(hào): CN108399050B
• 公開(kāi)（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 張世龍;陳釗;王成林
• 申請(qǐng)（專(zhuān)利權(quán)）人: 新華三技術(shù)有限公司
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06;G06F12/06
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

1.一種數(shù)據(jù)處理方法，應(yīng)用于分布式對(duì)象存儲(chǔ)系統(tǒng)的存儲(chǔ)節(jié)點(diǎn)，其特征在于，所述方法包括：

當(dāng)檢測(cè)到針對(duì)數(shù)據(jù)塊的寫(xiě)入操作時(shí)，將所述數(shù)據(jù)塊映射至待映射的對(duì)象object；其中，所述待映射的object為所分配的用于進(jìn)行數(shù)據(jù)塊映射，且未進(jìn)行存儲(chǔ)處理的object；所述object的大小大于所述數(shù)據(jù)塊的大小，且為所述數(shù)據(jù)塊大小的整數(shù)倍；

當(dāng)所述object中的數(shù)據(jù)量達(dá)到預(yù)設(shè)容量時(shí)，對(duì)所述object進(jìn)行存儲(chǔ)處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述數(shù)據(jù)塊映射至待映射的對(duì)象object之后，還包括：

當(dāng)所述object中的數(shù)據(jù)量未達(dá)到所述預(yù)設(shè)容量，但當(dāng)前時(shí)間與所述object中第一次映射數(shù)據(jù)塊的時(shí)間之間的差值達(dá)到預(yù)設(shè)時(shí)長(zhǎng)時(shí)，對(duì)所述object進(jìn)行存儲(chǔ)處理。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述數(shù)據(jù)塊映射至待映射的object之后，還包括：

根據(jù)所述數(shù)據(jù)塊的寫(xiě)入地址確定所述數(shù)據(jù)塊在預(yù)先設(shè)置的虛擬對(duì)象Vobject中對(duì)應(yīng)的葉子節(jié)點(diǎn)的標(biāo)識(shí)；其中，所述數(shù)據(jù)塊的大小為所述葉子節(jié)點(diǎn)的大小的整數(shù)倍；

將所述葉子節(jié)點(diǎn)的標(biāo)識(shí)與所述object的標(biāo)識(shí)以及所述數(shù)據(jù)塊在所述object中的地址偏移量的對(duì)應(yīng)關(guān)系記錄至所述葉子節(jié)點(diǎn)在其對(duì)應(yīng)的Vobject中的上一層節(jié)點(diǎn)；其中，所述上一層節(jié)點(diǎn)為樹(shù)枝節(jié)點(diǎn)或根節(jié)點(diǎn)，樹(shù)枝節(jié)點(diǎn)的標(biāo)識(shí)與樹(shù)枝節(jié)點(diǎn)所屬object的標(biāo)識(shí)以及樹(shù)枝節(jié)點(diǎn)在其所屬object中的地址偏移量記錄在上一層樹(shù)枝節(jié)點(diǎn)或根節(jié)點(diǎn)中，根節(jié)點(diǎn)的數(shù)據(jù)映射至該根節(jié)點(diǎn)所屬Vobject對(duì)應(yīng)的目標(biāo)object中，所述目標(biāo)object用于映射根節(jié)點(diǎn)的數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述葉子節(jié)點(diǎn)的標(biāo)識(shí)與所述object的標(biāo)識(shí)以及所述數(shù)據(jù)塊在所述object中的地址偏移量的對(duì)應(yīng)關(guān)系記錄至所述葉子節(jié)點(diǎn)在其對(duì)應(yīng)的Vobject中的上一層節(jié)點(diǎn)，包括：

采用異址更新追加寫(xiě)的策略，將所述葉子節(jié)點(diǎn)的標(biāo)識(shí)與所述object的標(biāo)識(shí)以及所述數(shù)據(jù)塊在所述object中的地址偏移量的對(duì)應(yīng)關(guān)系記錄至所述葉子節(jié)點(diǎn)在其對(duì)應(yīng)的Vobject中的上一層節(jié)點(diǎn)。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，Vobiect為根節(jié)點(diǎn)、樹(shù)枝節(jié)點(diǎn)以及葉子節(jié)點(diǎn)的三層樹(shù)形結(jié)構(gòu)；

所述方法還包括：

當(dāng)檢測(cè)到針對(duì)數(shù)據(jù)的讀取操作時(shí)，根據(jù)所述數(shù)據(jù)的讀取地址確定所述數(shù)據(jù)對(duì)應(yīng)目標(biāo)Vobject中的目標(biāo)葉子節(jié)點(diǎn)的標(biāo)識(shí)；

根據(jù)所述目標(biāo)葉子節(jié)點(diǎn)的標(biāo)識(shí)確定對(duì)應(yīng)的目標(biāo)樹(shù)枝節(jié)點(diǎn)的標(biāo)識(shí)；

根據(jù)所述目標(biāo)樹(shù)枝節(jié)點(diǎn)的標(biāo)識(shí)，從所述目標(biāo)Vobject對(duì)應(yīng)的目標(biāo)object中獲取所述目標(biāo)樹(shù)枝節(jié)點(diǎn)的地址信息；所述目標(biāo)樹(shù)枝節(jié)點(diǎn)的地址信息包括所述目標(biāo)樹(shù)枝節(jié)點(diǎn)所屬object的標(biāo)識(shí)以及所述目標(biāo)樹(shù)枝節(jié)點(diǎn)在其所屬object中的地址偏移量；

根據(jù)所述目標(biāo)樹(shù)枝節(jié)點(diǎn)的地址信息，從所述目標(biāo)樹(shù)枝節(jié)點(diǎn)所屬object中獲取所述目標(biāo)葉子節(jié)點(diǎn)的地址信息；所述目標(biāo)葉子節(jié)點(diǎn)的地址信息包括所述目標(biāo)葉子節(jié)點(diǎn)所屬的object的標(biāo)識(shí)以及所述目標(biāo)葉子節(jié)點(diǎn)在其所屬object中的地址偏移量；

根據(jù)所述目標(biāo)葉子節(jié)點(diǎn)的地址信息，從已存儲(chǔ)的所述目標(biāo)葉子節(jié)點(diǎn)所屬object中讀取所述數(shù)據(jù)。

6.一種數(shù)據(jù)處理裝置，應(yīng)用于分布式對(duì)象存儲(chǔ)系統(tǒng)的存儲(chǔ)節(jié)點(diǎn)，其特征在于，所述裝置包括：

檢測(cè)單元，用于檢測(cè)針對(duì)數(shù)據(jù)塊的讀寫(xiě)操作；

映射單元，用于當(dāng)所述檢測(cè)單元檢測(cè)到針對(duì)數(shù)據(jù)塊的寫(xiě)入操作時(shí)，將所述數(shù)據(jù)塊映射至待映射的對(duì)象object；其中，所述待映射的object為所分配的用于進(jìn)行數(shù)據(jù)塊映射，且未進(jìn)行存儲(chǔ)處理的object；所述object的大小大于所述數(shù)據(jù)塊的大小，且為所述數(shù)據(jù)塊大小的整數(shù)倍；

處理單元，用于當(dāng)所述object中的數(shù)據(jù)量達(dá)到預(yù)設(shè)容量時(shí)，對(duì)所述object進(jìn)行存儲(chǔ)處理。