[發(fā)明專利]一種數(shù)據(jù)寫入方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810264205.9
• 申請(qǐng)日: 2018-03-28
• 公開（公告）號(hào): CN108491290B
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: 馬海兵;陳釗
• 申請(qǐng)（專利權(quán)）人: 新華三技術(shù)有限公司
• 主分類號(hào): G06F11/10
• 分類號(hào): G06F11/10;G06F3/06
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

本發(fā)明提供一種數(shù)據(jù)寫入方法及裝置，所述方法包括：當(dāng)接收到針對(duì)目標(biāo)文件的寫入請(qǐng)求時(shí)，按照預(yù)設(shè)區(qū)塊大小將所述目標(biāo)文件劃分為原始數(shù)據(jù)塊，并根據(jù)所述原始數(shù)據(jù)塊利用奇偶校驗(yàn)算法計(jì)算至少一個(gè)校驗(yàn)數(shù)據(jù)塊；將所述目標(biāo)文件對(duì)應(yīng)的原始數(shù)據(jù)塊以及校驗(yàn)數(shù)據(jù)塊并發(fā)寫入對(duì)象object組中的連續(xù)多個(gè)空閑區(qū)塊；將所述object組中的各object映射至不同的對(duì)象存儲(chǔ)設(shè)備OSD。應(yīng)用本發(fā)明實(shí)施例可以解決Ceph EC存在寫懲罰的問(wèn)題，并提高Ceph的數(shù)據(jù)寫入性能。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)寫入方法及裝置。

背景技術(shù)

Ceph(分布式存儲(chǔ)系統(tǒng))是一種性能優(yōu)異、高可靠性和高擴(kuò)展性分布式存儲(chǔ)系統(tǒng)，廣泛應(yīng)用于各類大中小型存儲(chǔ)環(huán)境。

目前，Ceph主要采用多副本策略以保證數(shù)據(jù)的可靠性，但是多副本策略降低了Ceph的磁盤利用率，例如，2副本磁盤利用率50％，3副本磁盤利用率33％。

為了提高磁盤利用率，Ceph提出了糾刪碼(Erasure Coding，EC)策略。

糾刪碼算法將寫入數(shù)據(jù)分成K份原始數(shù)據(jù)，通過(guò)這K份原始數(shù)據(jù)計(jì)算出M份校驗(yàn)數(shù)據(jù)，通過(guò)這K+M份中的任意K份數(shù)據(jù)可以還原出所有原始數(shù)據(jù)。

然而實(shí)踐發(fā)現(xiàn)，現(xiàn)有Ceph EC方案中當(dāng)條帶中部分原始數(shù)據(jù)發(fā)生修改時(shí)，需要先將條帶中未發(fā)生修改的原始數(shù)據(jù)讀出，重新計(jì)算校驗(yàn)數(shù)據(jù)，并將發(fā)生修改的數(shù)據(jù)和新計(jì)算的校驗(yàn)塊寫入條帶中的相應(yīng)位置，即存在寫懲罰。

發(fā)明內(nèi)容

本發(fā)明提供一種數(shù)據(jù)寫入方法及裝置，以解決現(xiàn)有Ceph EC方案不支持覆蓋寫，且存在寫懲罰的問(wèn)題。

根據(jù)本發(fā)明的第一方面，提供一種數(shù)據(jù)寫入方法，應(yīng)用于分布式對(duì)象存儲(chǔ)系統(tǒng)中的存儲(chǔ)節(jié)點(diǎn)，所述方法包括：

當(dāng)接收到針對(duì)目標(biāo)文件的寫入請(qǐng)求時(shí)，按照預(yù)設(shè)區(qū)塊大小將所述目標(biāo)文件劃分為原始數(shù)據(jù)塊，并根據(jù)所述原始數(shù)據(jù)塊利用奇偶校驗(yàn)算法計(jì)算至少一個(gè)校驗(yàn)數(shù)據(jù)塊；

將所述目標(biāo)文件對(duì)應(yīng)的原始數(shù)據(jù)塊以及校驗(yàn)數(shù)據(jù)塊并發(fā)寫入對(duì)象object組中的連續(xù)多個(gè)空閑區(qū)塊；其中，所述object組中包括至少三個(gè)object，所述object組中各object包括等量等大小的區(qū)塊，所述連續(xù)多個(gè)空閑區(qū)塊依次歸屬于所述object組中的各object；

將所述object組中的各object映射至不同的對(duì)象存儲(chǔ)設(shè)備OSD。

根據(jù)本發(fā)明的第二方面，提供一種數(shù)據(jù)寫入裝置，應(yīng)用于分布式對(duì)象存儲(chǔ)系統(tǒng)中的存儲(chǔ)節(jié)點(diǎn)，所述裝置包括：

接收單元，用于接收寫入請(qǐng)求；

劃分單元，用于當(dāng)所述接收單元接收到針對(duì)目標(biāo)文件的寫入請(qǐng)求時(shí)，按照預(yù)設(shè)區(qū)塊大小將所述目標(biāo)文件劃分為原始數(shù)據(jù)塊；

校驗(yàn)單元，用于根據(jù)所述原始數(shù)據(jù)塊利用奇偶校驗(yàn)算法計(jì)算至少一個(gè)校驗(yàn)數(shù)據(jù)塊；

寫入單元，用于將所述目標(biāo)文件對(duì)應(yīng)的原始數(shù)據(jù)塊以及校驗(yàn)數(shù)據(jù)塊并發(fā)寫入對(duì)象object組中的連續(xù)多個(gè)空閑區(qū)塊；其中，所述object組中包括至少三個(gè)object，所述object組中各object包括等量等大小的區(qū)塊，所述連續(xù)多個(gè)空閑區(qū)塊依次歸屬于所述object組中的各object；

映射單元，用于將所述object組中的各object映射至不同的對(duì)象存儲(chǔ)設(shè)備OSD。

應(yīng)用本發(fā)明公開的技術(shù)方案，當(dāng)接收到針對(duì)目標(biāo)文件的寫入請(qǐng)求時(shí)，按照預(yù)設(shè)區(qū)塊大小將目標(biāo)文件劃分為原始數(shù)據(jù)塊，并利用奇偶校驗(yàn)算法計(jì)算至少一個(gè)校驗(yàn)數(shù)據(jù)塊；進(jìn)而，可以將目標(biāo)文件對(duì)應(yīng)的原始數(shù)據(jù)塊以及校驗(yàn)數(shù)據(jù)塊并發(fā)寫入object組中的連續(xù)多個(gè)空閑區(qū)塊，并將object組中的各object映射至不同的OSD，解決了Ceph EC存在寫懲罰的問(wèn)題，并提高了Ceph的數(shù)據(jù)寫入性能。