[發明專利]一種分布式文件存儲異步遠程復制方法及裝置

在審

• 申請號: 202211228647.0
• 申請日: 2022-10-08
• 公開（公告）號: CN115576911A
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 周士欽
• 申請（專利權）人: 中電云數智科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/16;G06F16/172;G06F16/178
• 代理公司: 工業和信息化部電子專利中心 11010
• 代理人: 張然

1.一種分布式文件存儲異步遠程復制方法，其特征在于，包括：

通過異步遠程復制主端的文件系統元數據服務器MDS來記錄數據變化的詳細差異，以使得異步遠程復制主端的同步程序基于所記錄的詳細差異觸發異步遠程復制從端的同步程序進行數據同步；

當所述異步遠程復制主端的數據變化的量值超過第一預設閾值時，則觸發所述異步遠程復制主端的MDS記錄數據變化的目錄差異，并使得所述異步遠程復制主端的同步程序基于所述目錄信息差異觸發所述異步遠程復制從端的同步程序進行數據同步；

在所述異步遠程復制主端的目錄信息差異的量值超過第二預設閾值時，則由所述異步遠程復制主端的同步程序對所述異步遠程復制主端的所有數據變化進行全量同步。

2.根據權利要求1所述的方法，其特征在于，

所述第一預設閾值為詳細差異條數閾值、差異記錄時間閾值或詳細差異容量閾值；

所述第二預設閾值為目錄差異條數閾值、差異記錄時間閾值或目錄差異容量閾值。

3.根據權利要求1所述的方法，其特征在于，所述通過異步遠程復制主端的文件系統元數據服務器MDS來記錄數據變化的詳細差異，包括：

當產生差異數據時，由所述異步遠程復制主端的MDS通過分布式Key-Value存儲記錄差異數據，所述差異數據的key值前綴為detail_diff_snapid_type_inode，其中，inode為差異的文件或目錄的索引號，type表示文件或目錄，snapid為當前快照id，detail_diff為固定前綴，表示存儲的詳細差異信息。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

當差異記錄條數total小于數據詳細差異條數閾值，或者差異記錄時間大于差異記錄時間閾值，或者數據差異容量大于詳細差異容量閾值時，所述異步遠程復制主端的同步進程基于所記錄的詳細差異進行數據同步，包括：

所述異步遠程復制主端的同步進程讀取每條差異數據記錄，按照差異位圖記錄的差異類型，從快照中讀取文件/目錄的最新值進行同步。

5.根據權利要求4所述的方法，其特征在于，所述異步遠程復制主端的MDS記錄數據變化的目錄差異，包括：

所述異步遠程復制主端的MDS先將已有的詳細差異轉換成目錄差異，并刪除已記錄的詳細差異，同時針對新一輪同步周期到來前，所新產生的元數據和數據變化，記錄其所在的父目錄為存在差異的目錄。

6.根據權利要求5所述的方法，其特征在于，使得所述異步遠程復制主端的同步程序基于所述目錄信息差異觸發所述異步遠程復制從端的同步程序進行數據同步，包括：

所述異步遠程復制主端的同步程序，遍歷所有目錄差異，通過新舊快照的實際對比，還原出每個目錄和文件的實際的詳細差異數據，并生成任務將詳細差異數據同步到所述異步遠程復制從端的同步程序；

所述異步遠程復制從端的同步程序基于所述異步遠程復制主端的同步程序發送來的差異數據進行解析，并將數據寫入到對應位置。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

所述異步遠程復制主端的同步程序以及異步遠程復制從端的同步程序均按照預設刪除周期刪除前期存儲的快照。