[發明專利]一種數據恢復和遷移的方法和裝置

有效

• 申請號: 201710326159.6
• 申請日: 2017-05-10
• 公開（公告）號: CN108874811B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 周振華
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F11/14
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;姜勁

1.一種數據恢復和遷移的方法，其特征在于，包括：

配置步驟，配置數據恢復和遷移任務，對與所述任務相關聯的參數加以設置；

讀數據步驟，根據所述參數，按照批次依次讀取歷史數據，為每批讀取的歷史數據單獨生成一個數據文件并加以緩沖存儲，并且將每個數據文件的數據范圍和讀數據標記存入Redis；以及

寫數據步驟，根據所述參數，從Redis中獲取每批要恢復的數據范圍以及讀數據標記，如果讀數據標記為失敗，則終止，否則根據所述數據范圍按照批次依次將緩沖存儲的歷史數據恢復到源數據庫或遷移到目標數據庫，并且將每個數據文件的數據范圍和寫數據標記存入Redis；

其中，在所述讀數據步驟中，當讀取失敗或遇到其他異常時，將相應的數據文件的數據范圍和讀數據標記存入Redis，并終止讀取，待到下次啟動任務時檢查為失敗的讀數據標記，并根據相應的數據范圍繼續讀取。

2.根據權利要求1所述的方法，其特征在于，還包括：

在所述寫數據步驟中，當寫入失敗或遇到其他異常時，將相應的數據文件的數據范圍和寫數據標記存入Redis，并終止寫入，待到下次啟動任務時檢查為失敗的寫數據標記，并根據相應的數據范圍繼續寫入。

3.根據權利要求1所述的方法，其特征在于，所述讀數據步驟還包括：

如果是從云存儲讀取數據，則根據所述參數按照批次依次讀取數據，然后將數據文件直接保存于服務端磁盤，或利用LevelDB高速寫功能將數據文件寫入LevelDB；如果是從歷史庫讀取數據，則將JDBC連接到歷史庫的從庫，根據所述參數按照批次依次讀取數據，將數據組裝成SQL腳本文件，暫時存入服務端磁盤，其中為每批讀取的歷史數據單獨生成一個數據文件保存在服務端磁盤中，并且將每個數據文件的數據范圍和讀數據標記存入Redis。

4.根據權利要求1所述的方法，其特征在于，所述寫數據步驟還包括：

根據所述參數，從Redis中獲取每批要恢復的數據范圍以及讀數據標記，如果讀數據標記為失敗，則終止，否則從服務端磁盤讀取數據文件或從LevelDB讀取數據流，對數據文件或數據流解壓并解析出插入語句，創建待插入的數據集，按照批次依次將數據恢復到源數據庫或將數據遷移到指定的目標數據庫，并且將每個數據文件的數據范圍和寫數據標記存入Redis。

5.根據權利要求1至4的任一項所述的方法，其特征在于，

所述參數包括以下各項中的至少一項：數據讀寫的批處理的量、云存儲數據文件鏈接或云存儲上對應的鍵、歷史庫鏈接。

6.一種數據恢復和遷移的裝置，其特征在于，包括：

配置模塊，配置數據恢復和遷移任務，對與所述任務相關聯的參數加以設置；

讀數據模塊，根據所述參數，按照批次依次讀取歷史數據，為每批讀取的歷史數據單獨生成一個數據文件并加以緩沖存儲，并且將每個數據文件的數據范圍和讀數據標記存入Redis；以及

寫數據模塊，根據所述參數，從Redis中獲取每批要恢復的數據范圍以及讀數據標記，如果讀數據標記為失敗，則終止，否則根據所述數據范圍按照批次依次將緩沖存儲的歷史數據恢復到源數據庫或遷移到目標數據庫，并且將每個數據文件的數據范圍和寫數據標記存入Redis；

其中，在所述讀數據模塊中，當讀取失敗或遇到其他異常時，將相應的數據文件的數據范圍和讀數據標記存入Redis，并終止讀取，待到下次啟動任務時檢查為失敗的讀數據標記，并根據相應的數據范圍繼續讀取。

7.根據權利要求6所述的裝置，其特征在于，還包括：

在所述寫數據模塊中，當寫入失敗或遇到其他異常時，將相應的數據文件的數據范圍和寫數據標記存入Redis，并終止寫入，待到下次啟動任務時檢查為失敗的寫數據標記，并根據相應的數據范圍繼續寫入。