[發(fā)明專利]數(shù)據(jù)寫入方法、緩存信息更新方法及相關(guān)裝置

在審

• 申請?zhí)枺?/td>: 202210939151.8
• 申請日: 2022-08-05
• 公開（公告）號: CN115309336A
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計）人: 陳濤
• 申請（專利權(quán)）人: 重慶紫光華山智安科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 張欣欣

本發(fā)明提供了一種數(shù)據(jù)寫入方法、緩存信息更新方法及相關(guān)裝置，涉及分布式存儲領(lǐng)域。所述數(shù)據(jù)寫入方法：按照預(yù)設(shè)糾刪比將待存儲數(shù)據(jù)拆分為多個數(shù)據(jù)分片，并確定每個數(shù)據(jù)分片對應(yīng)的存儲塊，存儲塊為用于存儲所述數(shù)據(jù)分片的數(shù)據(jù)塊；根據(jù)本地緩存的多條緩存信息，確定當(dāng)前時刻每個存儲塊所在的目標(biāo)存儲節(jié)點，其中，多條緩存信息基于多個存儲節(jié)點上報的被恢復(fù)的數(shù)據(jù)塊的恢復(fù)進(jìn)度進(jìn)行更新，每個存儲節(jié)點上報的被恢復(fù)的數(shù)據(jù)塊均滿足預(yù)設(shè)上報條件，預(yù)設(shè)上報條件由客戶端定時發(fā)送給多個存儲節(jié)點；將每個數(shù)據(jù)分片發(fā)送至每個數(shù)據(jù)分片對應(yīng)的存儲塊所在的目標(biāo)存儲節(jié)點，以進(jìn)行數(shù)據(jù)寫入，從而避免數(shù)據(jù)塊恢復(fù)過程影響數(shù)據(jù)分片寫入過程，降低寫入時延。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲領(lǐng)域，具體而言，涉及一種數(shù)據(jù)寫入方法、緩存信息更新方法及相關(guān)裝置。

背景技術(shù)

分布式存儲系統(tǒng)中，通過元數(shù)據(jù)服務(wù)器定位存儲信息，多臺數(shù)據(jù)服務(wù)器充當(dāng)存儲節(jié)點，客戶端對外提供訪問接口，進(jìn)行數(shù)據(jù)讀取/寫入操作。對于數(shù)據(jù)寫入操作，客戶端按照糾刪比將待存儲數(shù)據(jù)分割為N+M個數(shù)據(jù)分片，再將各數(shù)據(jù)分片寫入不同存儲節(jié)點的數(shù)據(jù)塊中，當(dāng)寫入成功的數(shù)據(jù)分片的數(shù)量大于N時，則確認(rèn)待存儲數(shù)據(jù)整體寫入成功，對于寫入失敗的數(shù)據(jù)分片，則由存儲節(jié)點通過糾刪計算進(jìn)行恢復(fù)。

由于多臺設(shè)備協(xié)同工作，對數(shù)據(jù)的一致性帶來了巨大挑戰(zhàn)，比如存儲節(jié)點對數(shù)據(jù)塊進(jìn)行恢復(fù)時，客戶端正在對該數(shù)據(jù)塊寫入數(shù)據(jù)分片。目前對數(shù)據(jù)寫入和恢復(fù)同時觸發(fā)的情況的主要處理方式是客戶端將當(dāng)前數(shù)據(jù)分片的寫入操作掛起，等待數(shù)據(jù)塊恢復(fù)完成后，再執(zhí)行數(shù)據(jù)分片的寫入操作，大大增加了寫入時延。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明實施例提供了一種數(shù)據(jù)寫入方法、緩存信息更新方法及相關(guān)裝置，其能夠使數(shù)據(jù)塊恢復(fù)過程不影響數(shù)據(jù)分片寫入過程，降低寫入時延。

本發(fā)明實施例的技術(shù)方案可以這樣實現(xiàn)：

第一方面，本發(fā)明實施例提供一種數(shù)據(jù)寫入方法，應(yīng)用于分布式存儲系統(tǒng)中的客戶端，所述分布式存儲系統(tǒng)還包括多個存儲節(jié)點，所述客戶端與所述多個存儲節(jié)點通信連接，每個所述存儲節(jié)點上均創(chuàng)建有至少一個數(shù)據(jù)塊，所述方法包括：

按照預(yù)設(shè)糾刪比將待存儲數(shù)據(jù)拆分為多個數(shù)據(jù)分片，并確定每個所述數(shù)據(jù)分片對應(yīng)的存儲塊，所述存儲塊為用于存儲所述數(shù)據(jù)分片的數(shù)據(jù)塊；

根據(jù)本地緩存的多條緩存信息，確定當(dāng)前時刻每個所述存儲塊所在的目標(biāo)存儲節(jié)點；

其中，所述多條緩存信息基于所述多個存儲節(jié)點上報的被恢復(fù)的數(shù)據(jù)塊的恢復(fù)進(jìn)度進(jìn)行更新，每個所述存儲節(jié)點上報的被恢復(fù)的數(shù)據(jù)塊均滿足預(yù)設(shè)上報條件，所述預(yù)設(shè)上報條件由所述客戶端定時發(fā)送給所述多個存儲節(jié)點；

將每個所述數(shù)據(jù)分片發(fā)送至每個所述數(shù)據(jù)分片對應(yīng)的存儲塊所在的目標(biāo)存儲節(jié)點，以進(jìn)行數(shù)據(jù)寫入。

可選地，所述多條緩存信息包括緩存在本地緩存區(qū)內(nèi)的多條第一信息，每條所述第一信息均記錄有一個所述數(shù)據(jù)塊的標(biāo)識、狀態(tài)以及所述數(shù)據(jù)塊所在的存儲節(jié)點，所述分布式存儲系統(tǒng)還包括管理節(jié)點，所述管理節(jié)點與所述客戶端通信連接；

所述根據(jù)本地緩存的多條緩存信息，確定當(dāng)前時刻每個所述存儲塊所在的目標(biāo)存儲節(jié)點的步驟包括：

針對每個所述存儲塊，若所述多條第一信息中存在記錄有所述存儲塊的標(biāo)識的目標(biāo)第一信息、且所述目標(biāo)第一信息中記錄的所述數(shù)據(jù)塊的狀態(tài)為恢復(fù)狀態(tài)或正常狀態(tài)，則將所述目標(biāo)第一信息中記錄的所述數(shù)據(jù)塊所在的存儲節(jié)點作為當(dāng)前時刻所述存儲塊所在的目標(biāo)存儲節(jié)點；

若所述多條第一信息中存在記錄有所述存儲塊的標(biāo)識的目標(biāo)第一信息、且所述目標(biāo)第一信息中記錄的所述數(shù)據(jù)塊的狀態(tài)為異常狀態(tài)，則向所述管理節(jié)點發(fā)送查詢請求，以獲取當(dāng)前時刻所述存儲塊所在的目標(biāo)存儲節(jié)點；