[發(fā)明專利]用于分布式數(shù)據(jù)存儲集群的數(shù)據(jù)遷移方法和裝置

有效

• 申請?zhí)枺?/td>: 201810877478.0
• 申請日: 2018-08-03
• 公開（公告）號: CN110807013B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設計）人: 馬振林
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27
• 代理公司: 北京同鈞律師事務所 16037
• 代理人: 許懷遠

1.一種用于分布式數(shù)據(jù)存儲集群的數(shù)據(jù)遷移方法，所述方法包括：獲取源集群的工作節(jié)點的預寫式日志WAL，所述WAL用于記錄所述工作節(jié)點的已存儲數(shù)據(jù)；

讀取所述WAL的內容，以根據(jù)預設的數(shù)據(jù)遷移配置信息，從所述WAL中記錄的所述工作節(jié)點的已存儲數(shù)據(jù)中提取目標遷移數(shù)據(jù)；其中，所述預設的數(shù)據(jù)遷移配置信息用于表示目標遷移數(shù)據(jù)在數(shù)據(jù)庫中的位置；將所述目標遷移數(shù)據(jù)發(fā)送至消息中間件，所述消息中間件用于向目標數(shù)據(jù)集群提供所述目標遷移數(shù)據(jù)；

所述方法還包括：

確定所述目標遷移數(shù)據(jù)在所述WAL中的位置；

若所述目標遷移數(shù)據(jù)發(fā)送至所述消息中間件失敗，則從確定的所述位置處開始重新讀取所述WAL的內容，以將所述目標遷移數(shù)據(jù)重復發(fā)送至所述消息中間件。

2.根據(jù)權利要求1所述的方法，其中，所述方法還包括：

若所述目標遷移數(shù)據(jù)發(fā)送至所述消息中間件成功，則根據(jù)確定的所述位置確定所述工作節(jié)點的數(shù)據(jù)遷移進度，并在所述源集群的公共存儲空間中備份所述工作節(jié)點的數(shù)據(jù)遷移進度。

3.根據(jù)權利要求2所述的方法，其中，所述方法還包括：

確定所述源集群中數(shù)據(jù)遷移異常的工作節(jié)點，為該異常的工作節(jié)點開啟數(shù)據(jù)遷移恢復線程；

通過所述數(shù)據(jù)遷移恢復線程，在所述源集群的公共存儲空間中獲取該異常的工作節(jié)點的數(shù)據(jù)遷移進度；

通過所述數(shù)據(jù)遷移恢復線程，根據(jù)該異常的工作節(jié)點的數(shù)據(jù)遷移進度，為該異常的工作節(jié)點遷移數(shù)據(jù)。

4.根據(jù)權利要求3所述的方法，其中，根據(jù)該異常的工作節(jié)點的數(shù)據(jù)遷移進度，為該異常的工作節(jié)點遷移數(shù)據(jù)，包括：

根據(jù)該異常的工作節(jié)點的數(shù)據(jù)遷移進度，確定該異常的工作節(jié)點未遷移的WAL；

從所述未遷移的WAL中獲取該異常的工作節(jié)點的目標遷移數(shù)據(jù)；

將該異常的工作節(jié)點的目標遷移數(shù)據(jù)發(fā)送至消息中間件，以為該異常的工作節(jié)點遷移數(shù)據(jù)。

5.一種用于分布式數(shù)據(jù)存儲集群的數(shù)據(jù)遷移裝置，所述裝置包括：

獲取模塊，用于獲取源集群的工作節(jié)點的預寫式日志WAL，所述WAL用于記錄所述工作節(jié)點的已存儲數(shù)據(jù)；

讀取模塊，用于讀取所述WAL的內容，以根據(jù)預設的數(shù)據(jù)遷移配置信息，從所述WAL中記錄的所述工作節(jié)點的已存儲數(shù)據(jù)中提取目標遷移數(shù)據(jù)；其中，所述預設的數(shù)據(jù)遷移配置信息用于表示目標遷移數(shù)據(jù)在數(shù)據(jù)庫中的位置；

遷移模塊，用于將所述目標遷移數(shù)據(jù)發(fā)送至消息中間件，所述消息中間件用于向目標數(shù)據(jù)集群提供所述目標遷移數(shù)據(jù)；

第一位置確定模塊，用于確定所述目標遷移數(shù)據(jù)在所述WAL中的位置；

回滾讀取模塊，用于若所述目標遷移數(shù)據(jù)發(fā)送至所述消息中間件失敗，則從確定的所述位置處開始重新讀取所述WAL的內容，以將所述目標遷移數(shù)據(jù)重復發(fā)送至所述消息中間件。

6.根據(jù)權利要求5所述的裝置，其中，所述裝置還包括：

第二位置確定模塊，用于確定所述目標遷移數(shù)據(jù)在所述WAL中的位置；

進度備份模塊，用于若所述目標遷移數(shù)據(jù)發(fā)送至所述消息中間件成功，則根據(jù)確定的所述位置確定所述工作節(jié)點的數(shù)據(jù)遷移進度，并在所述源集群的公共存儲空間中備份所述工作節(jié)點的數(shù)據(jù)遷移進度。

7.根據(jù)權利要求6所述的裝置，其中，所述裝置還包括：

線程開啟模塊，用于確定所述源集群中數(shù)據(jù)遷移異常的工作節(jié)點，為該異常的工作節(jié)點開啟數(shù)據(jù)遷移恢復線程；

進度獲取模塊，用于通過所述數(shù)據(jù)遷移恢復線程，在所述源集群的公共存儲空間中獲取該異常的工作節(jié)點的數(shù)據(jù)遷移進度；

遷移恢復模塊，用于通過所述數(shù)據(jù)遷移恢復線程，根據(jù)該異常的工作節(jié)點的數(shù)據(jù)遷移進度，為該異常的工作節(jié)點遷移數(shù)據(jù)。

8.根據(jù)權利要求7所述的裝置，其中，所述遷移恢復模塊具體用于：

根據(jù)該異常的工作節(jié)點的數(shù)據(jù)遷移進度，確定該異常的工作節(jié)點未遷移的WAL；

從所述未遷移的WAL中獲取該異常的工作節(jié)點的目標遷移數(shù)據(jù)；

將該異常的工作節(jié)點的目標遷移數(shù)據(jù)發(fā)送至消息中間件，以為該異常的工作節(jié)點遷移數(shù)據(jù)。