[發明專利]一種數據并發寫入方法及分布式數據并發寫入系統

在審

• 申請號: 202011431452.7
• 申請日: 2020-12-09
• 公開（公告）號: CN112486932A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 黎海兵
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: G06F16/176
• 分類號: G06F16/176
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

本發明實施例提供了一種數據并發寫入方法及分布式數據并發寫入系統，包括：控制節點對客戶端發送的第一寫入請求進行校驗，生成第一寫入請求對應的第一版本號，當校驗成功時，選取預設數量個存儲節點，并將預設數量個存儲節點對應的地址信息以及第一版本號，發送給客戶端；客戶端將第二寫入請求發送給預設數量個存儲節點；存儲節點接收第二寫入請求，判斷第一版本號是否高于目標數據的本地版本號，如果是，則執行對應的寫操作，并將寫入結果信息返回給客戶端；控制節點基于客戶端返回的寫入結果信息，對目標數據對應的元數據信息進行更新。本發明實施例，能夠保證多個客戶端對同一目標數據并發寫時副本文件數據的一致性，提高數據的可靠性。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種數據并發寫入方法及分布式數據并發寫入系統。

背景技術

分布式文件存儲系統是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點(可簡單的理解為一臺計算機)相連；或是若干不同的邏輯磁盤分區或卷標組合在一起而形成的完整的有層次的文件系統。分布式文件存儲系統把大量數據分散到不同的節點上存儲，大大減小了數據丟失的風險。

現有客戶端執行一次數據寫入的方法為：客戶端向控制節點發送針對目標數據的寫入請求；控制節點接收并校驗寫入請求，當校驗成功時，向客戶端返回待寫入數據對應的存儲節點的地址信息；客戶端接收地址信息，向待寫入數據對應的存儲節點發送包含待寫入數據的數據寫入請求；存儲節點接收并執行數據寫入請求對應的寫操作，之后向客戶端返回包含寫入成功或寫入失敗的寫入結果信息；客戶端接收存儲節點返回的寫入結果信息，并將寫入結果信息發送給控制節點；控制節點判斷寫入結果為寫入成功時，更新目標數據對應的元數據信息。

實際應用中，為保證數據的可靠性，一般文件數據會保存多個副本。然而，使用上述數據寫入方法對數據進行寫入，當存在多個客戶端對同一目標數據執行寫操作時，由于網絡延時及各副本所在的存儲節點實際業務情況的不同，可能會導致目標數據對應的多個副本中的數據不一致的情況，例如，客戶端A和客戶端B同時對同一目標數據執行寫操作，針對目標數據的副本1客戶端A先執行寫操作，客戶端B后執行寫操作，針對目標數據的副本2客戶端B先執行寫操作，客戶端A后執行寫操作，導致同一目標數據的副本1和副本2中的數據不一致，進而影響數據的可靠性，使得分布式文件存儲系統中，針對同一文件只容許串行寫，不容許并發寫。

發明內容

本發明實施例的目的在于提供一種數據并發寫入方法及分布式數據并發寫入系統，用以解決多個客戶端對同一文件執行寫入操作時導致的數據不一致，影響數據可靠性的問題。具體技術方案如下：

第一方面，本發明實施例提供了一種數據并發寫入方法，應用于分布式文件存儲系統中的控制節點，所述分布式文件存儲系統包括：控制節點和存儲節點，所述方法包括：

對客戶端發送的針對目標數據的第一寫入請求進行校驗，并生成所述第一寫入請求對應的版本號，得到第一版本號，所述第一版本號隨所述目標數據數據寫入次數的增加而增加，所述第一寫入請求對應相應的待寫入數據；

當對所述第一寫入請求校驗成功時，為所述待寫入數據選取預設數量個存儲節點，得到預設數量個存儲節點對應的地址信息；

將所述預設數量個存儲節點對應的地址信息以及所述第一版本號，發送給所述客戶端，以使所述客戶端將第二寫入請求發送給所述預設數量個存儲節點，所述預設數量個存儲節點分別根據所述第二寫入請求執行對應的寫操作，并將寫入結果信息返回給所述客戶端；其中，所述第二寫入請求中包含所述待寫入數據以及所述第一版本號；

基于所述客戶端返回的所述寫入結果信息，對所述目標數據對應的元數據信息進行更新；其中，所述目標數據對應的元數據信息包括所述目標數據的大小，所述目標數據所寫入的存儲節點的信息。

可選的，所述生成所述第一寫入請求對應的版本號，得到第一版本號的步驟，包括：