[發明專利]一種基于流處理的數據同步的方法、系統、設備及介質

有效

• 申請號: 202110105093.4
• 申請日: 2021-01-26
• 公開（公告）號: CN112667586B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 張世旭
• 申請（專利權）人: 浪潮通用軟件有限公司
• 主分類號: G06F16/178
• 分類號: G06F16/178;G06F16/27;G06F16/25
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰;宋薇薇

1.一種基于流處理的數據同步的方法，其特征在于，包括以下步驟：

按照類型對文件資源進行劃分，并對劃分后的每個類型設置對應的主題；

獲取待同步文件的文件流，并將所述文件流拆分成多個子文件流包，計算每個子文件流包的大小和摘要值；

將每個子文件流包按順序編號后寫入本地緩沖區，并將每個子文件流包與對應的主題進行關聯；

根據所述主題將所述子文件流包發送給對應的目標節點，并在目標節點檢驗所述子文件流包的摘要值是否發生變化；以及

響應于所述子文件流包的摘要值未發生變化，根據所述編號將屬于同一個文件流的多個子文件流包進行合并以同步數據。

2.根據權利要求1所述的方法，其特征在于，所述根據所述主題將所述子文件流包發送給對應的目標節點包括：

響應于檢測到有文件待發送，讀取所述文件的數據包，并將所述數據包加密后通過網絡傳輸到目標數據中心；以及

通過所述目標數據中心解析所述數據包的主題，并通知訂閱所述主題的節點處理所述主題對應的子文件流包。

3.根據權利要求2所述的方法，其特征在于，所述在目標節點檢驗所述子文件流包的摘要值是否發生變化包括：

訂閱所述主題的節點從所述本地緩沖區中獲取對應的子文件流包，并計算獲取后的子文件流包的摘要值以判斷所述摘要值是否發生變化。

4.根據權利要求2所述的方法，其特征在于，方法還包括：

判斷是否在預設時間內接收到所述目標節點的處理響應；以及

響應于在預設時間內接收到所述目標節點的處理響應，繼續下一個數據包的傳輸。

5.一種基于流處理的數據同步的系統，其特征在于，包括：

劃分模塊，配置用于按照類型對文件資源進行劃分，并對劃分后的每個類型設置對應的主題；

獲取模塊，配置用于獲取待同步文件的文件流，并將所述文件流拆分成多個子文件流包，計算每個子文件流包的大小和摘要值；

關聯模塊，配置用于將每個子文件流包按順序編號后寫入本地緩沖區，并將每個子文件流包與對應的主題進行關聯；

檢驗模塊，配置用于根據所述主題將所述子文件流包發送給對應的目標節點，并在目標節點檢驗所述子文件流包的摘要值是否發生變化；以及

執行模塊，配置用于響應于所述子文件流包的摘要值未發生變化，根據所述編號將屬于同一個文件流的多個子文件流包進行合并以同步數據。

6.根據權利要求5所述的系統，其特征在于，所述檢驗模塊配置用于：

響應于檢測到有文件待發送，讀取所述文件的數據包，并將所述數據包加密后通過網絡傳輸到目標數據中心；以及

通過所述目標數據中心解析所述數據包的主題，并通知訂閱所述主題的節點處理所述主題對應的子文件流包。

7.根據權利要求6所述的系統，其特征在于，所述檢驗模塊配置用于：

訂閱所述主題的節點從所述本地緩沖區中獲取對應的子文件流包，并計算獲取后的子文件流包的摘要值以判斷所述摘要值是否發生變化。

8.根據權利要求6所述的系統，其特征在于，系統還包括判斷模塊，配置用于：

判斷是否在預設時間內接收到所述目標節點的處理響應；以及

響應于在預設時間內接收到所述目標節點的處理響應，繼續下一個數據包的傳輸。

9.一種計算機設備，其特征在于，包括：

至少一個處理器；以及

存儲器，所述存儲器存儲有可在所述處理器上運行的計算機指令，所述指令由所述處理器執行時實現權利要求1-4任意一項所述方法的步驟。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1-4任意一項所述方法的步驟。