[發明專利]一種數據校驗方法、裝置、計算設備及介質

有效

• 申請號: 201910047832.1
• 申請日: 2019-01-18
• 公開（公告）號: CN111464258B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 趙樹起
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L1/00
• 分類號: H04L1/00;G06F16/182;H04L67/561
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 劉靜

本發明公開了一種數據校驗方法、裝置、計算設備及介質，該方法包括：當向數據組織單元寫入數據時，計算各寫入的數據塊和數據組織單元的校驗碼；根據數據組織單元中各數據塊的校驗碼，對各數據塊進行校驗；將數據組織單元中有效數據的長度及其校驗碼發送至元數據服務器，以指示元數據服務器對數據組織單元進行校驗，并根據校驗結果返回對應消息；若數據組織單元中的各數據塊均校驗成功，且接收到元數據服務器返回的校驗成功消息，則確定數據校驗成功。

技術領域

本發明涉及分布式技術領域，特別涉及一種數據校驗方法、裝置、計算設備及介質。

背景技術

分布式文件系統作為云操作系統的核心組件，負責系統中數據的持久化，因此要求分布式文件系統可保證數據的可靠性、可用性及安全性。為了支持各種業務，分布式文件系統通常采用多副本的方式來提高數據的可靠性，從多個維度提供了數據校驗服務，以檢測單副本是否存在數據靜默錯誤。

目前，分布式文件系統一般采用E2E(End to End，端對端)數據校驗、單機校驗和分布式校驗這三類方式。其中，E2E數據校驗由用戶提供寫入數據和對應的校驗碼，通過對數據和校驗碼進行匹配驗證來確定是否同意寫入，對同意寫入的數據，在讀數據時再次進行數據和校驗碼的匹配驗證，確保了每次讀寫操作時數據的可靠性，但對校驗碼的依賴性較大，一旦用戶這一端出現校驗碼錯誤，將造成嚴重的數據問題。

而單機校驗是通過服務器后臺實現的校驗操作，不需要且條件上也不允許高頻操作，因此完成一次全盤掃描需要周余的時間，不具備實時性。分布式校驗是在分布式文件系統中，通過部署一個單獨的后臺校驗服務，讀取多副本中的每一個副本進行交叉校驗，進而完成整個文件系統的一致性檢查，開銷較高，且增加了網絡的額外消耗，完成一個集群級別的掃描可能需要數周到數月的時間。因此，需要一種新的數據校驗方法來優化上述處理過程。

發明內容

為此，本發明提供一種數據校驗方案，以力圖解決或者至少緩解上面存在的問題。

根據本發明的一個方面，提供一種數據校驗方法，該方法包括如下步驟：首先，當向數據組織單元寫入數據時，計算各寫入的數據塊和數據組織單元的校驗碼；根據數據組織單元中各數據塊的校驗碼，對各數據塊進行校驗；將數據組織單元中有效數據的長度及其校驗碼發送至元數據服務器，以指示元數據服務器對數據組織單元進行校驗，并根據校驗結果返回對應消息；若數據組織單元中的各數據塊均校驗成功，且接收到元數據服務器返回的校驗成功消息，則確定數據校驗成功。

可選地，在根據本發明的數據校驗方法中，計算各寫入的數據塊和數據組織單元的校驗碼包括：對各寫入的數據塊，以該數據塊前一個數據塊的校驗碼為其初始校驗碼，根據初始校驗碼計算該數據塊的校驗碼，并以最后一個數據塊的校驗碼作為數據組織單元的校驗碼。

可選地，在根據本發明的數據校驗方法中，根據初始校驗碼計算數據塊的校驗碼包括：根據初始校驗碼，通過循環冗余校驗算法計算數據塊的校驗碼；或者根據初始校驗碼，通過MD5消息摘要算法計算數據塊的校驗碼；或者根據初始校驗碼，通過安全散列算法計算數據塊的校驗碼。

可選地，在根據本發明的數據校驗方法中，還包括：響應于客戶端發送的寫請求，確定待寫入數據的數據組織單元，寫請求中包含待寫入的數據；向該數據組織單元寫入待寫入的數據。

可選地，在根據本發明的數據校驗方法中，確定待寫入數據的數據組織單元包括：若數據服務器中存在存儲量未滿的數據組織單元，則根據寫請求從中選擇出相應的數據組織單元，作為待寫入數據的數據組織單元；若數據服務器中不存在存儲量未滿的數據組織單元，則創建新的數據組織單元，作為待寫入數據的數據組織單元。

可選地，在根據本發明的數據校驗方法中，還包括：生成新的數據組織單元的校驗碼，將該校驗碼作為寫入新的數據組織單元的第一個數據塊的初始校驗碼。