[發明專利]數據恢復方法、裝置、電子設備和介質

有效

• 申請號: 202010153076.3
• 申請日: 2020-03-06
• 公開（公告）號: CN111414277B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 於圣楠;李宇彬;周彩冬;胡志鵬;劉柏;李仁杰;范長杰
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 北京超成律師事務所 11646
• 代理人: 吳迪

本申請提供了數據恢復方法、裝置、電子設備和介質，涉及數據傳輸領域。本申請提供的數據恢復方法，在實現時，下游文件系統在接收到上游計算系統所發出關于目標壓縮文件的壓縮數據后，將壓縮數據保存在本地緩存中；在發生故障而重啟后，獲取上游計算系統持久化在存儲系統中的關于目標壓縮文件的數據格式信息和有效傳輸長度；而后，根據數據格式信息和有效傳輸長度對目標壓縮文件進行恢復。本申請所提供的方法考慮到了壓縮數據和文檔數據的差異性，在恢復數據的時候利用了數據格式信息進行輔助，保證了數據恢復的準確性。

技術領域

本申請涉及數據傳輸領域，具體而言，涉及數據恢復方法、裝置、電子設備和介質。

背景技術

隨著電子信息技術的發展，每天需要處理的業務數據在不斷的擴大。對于當前已經擴大到PB級的業務數據，傳統的單機處理技術早已無法有效的進行處理，進而產生了分布式計算技術來應對這種PB級業務數據的處理需求。

分布式計算技術可以將一個需要處理的大型任務分解成多個小任務，并由不同的網絡節點(如服務器)分別完成每個小任務，最后再將每個小任務的處理結果進行整合，進而得到大型任務的處理結果。

隨著對數據時效性要求的提高，在傳統分布式技術的基礎上，又出現了分布式流式計算技術，其中，Apache Flink就是一種新興的分布式流式計算框架。分布式流式計算技術可以很好地對大規模流動數據在不斷變化的運動過程中實時地進行分析，捕捉到可能有用的信息，并把結果發送到下一計算節點。

發明內容

本申請的目的在于提供數據恢復方法、裝置、電子設備和介質。

在一些實施例中，一種數據恢復方法，作用于下游文件系統，該方法包括：

在接收到上游計算系統所發出關于目標壓縮文件的壓縮數據后，將壓縮數據保存在本地緩存中；

在發生故障而重啟后，獲取上游計算系統持久化在存儲系統中的關于目標壓縮文件的數據格式信息和有效傳輸長度；

根據數據格式信息和有效傳輸長度對目標壓縮文件進行恢復。

在一些實施例中，根據數據格式信息和有效傳輸長度對目標壓縮文件進行恢復，包括：

根據有效數據長度和記錄的壓縮數據的到達順序對壓縮數據進行截斷處理，以生成有效壓縮數據；

根據數據格式信息生成目標壓縮文件的文件尾；

根據有效壓縮數據和文件尾對目標壓縮文件進行恢復。

在一些實施例中，根據數據格式信息生成目標壓縮文件的文件尾，包括：

根據上游計算系統持久化在存儲系統中的關于目標壓縮文件的文件頭確定目標壓縮文件的文件類型；

根據文件類型確定文件尾拼接方式；

根據確定的文件尾拼接方式和數據格式信息生成目標壓縮文件的文件尾。

在一些實施例中，若文件類型為PDF類型；則數據格式信息包括交叉引用表、根節點信息和文件解析節點信息；根據確定的文件尾拼接方式和數據格式信息生成目標壓縮文件的文件尾，包括：

將持久化在存儲系統中的交叉引用表、根節點信息和文件解析節點信息按照預定順序進行拼接，以形成目標壓縮文件的文件尾。

在一些實施例中，若文件類型為Gzip類型；則數據格式信息包括校驗碼；根據確定的文件尾生成方式和數據格式信息生成目標壓縮文件的文件尾，包括：

對有效傳輸長度進行取模運算，以確定壓縮數據的標識符；

將校驗碼和標識符拼接成目標壓縮文件的文件尾。