[發明專利]一種基于CMSP實現數據批次同步的方法及平臺

在審

• 申請號: 202011186111.8
• 申請日: 2020-10-30
• 公開（公告）號: CN112269820A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 葛東遙;肖雪;李朝銘;王建華
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/23;G06F16/27
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 馮春連

1.一種基于CMSP實現數據批次同步的方法，其特征在于,其實現包括：

從數據庫中抽取數據，抽取時產生一個批次號，將該批次號放入CMSP服務器的批次Topic中，同時，將抽取數據及該數據對應的批次號放入CMSP服務器的數據Topic中；

從CMSP服務器的批次Topic中獲取批次號，并根據此批次號更新內存中相應表的批次號，從CMSP服務器的數據Topic中獲取數據及對應批次號；

將內存中的批次號與獲取數據的批次號進行對比，判定數據的有效性，并將有效數據寫入數據庫。

2.根據權利要求1所述的一種基于CMSP實現數據批次同步的方法，其特征在于，從數據庫中抽取數據，抽取的數據可以是全量數據或增量數據。

3.根據權利要求1所述的一種基于CMSP實現數據批次同步的方法，其特征在于，當從數據庫中重新抽取數據時，再產生一個新批次號，將新批次號放入批次Topic中，同時，將抽取數據及該數據對應的新批次號放入數據Topic中；

從CMSP服務器的批次Topic中獲取新批次號，批次號，并根據此新批次號更新內存中相應表的批次號，從CMSP服務器的數據Topic中獲取數據及該數據對應的新批次號；

將內存中的新批次號與獲取數據的新批次號進行對比判定數據的有效性，并將有效數據寫入數據庫。

4.根據權利要求1或3所述的一種基于CMSP實現數據批次同步的方法，其特征在于，將內存中的批次號與獲取數據的批次號進行對比，

(a)若批次號一致，判定獲取數據是有效數據，將獲取數據寫入數據庫中，

(b)若批次號不一致，判定獲取數據是過期數據，應該把此數據扔掉或者保存到過期數據文件中進行備份。

5.根據權利要求1所述的一種基于CMSP實現數據批次同步的方法，其特征在于，所述CMSP服務器的批次Topic和數據Topic分別提供數據緩存和數據傳輸服務。

6.一種基于CMSP實現數據批次同步的平臺，其特征在于，其包括：

數據抽取模塊，用于抽取數據庫中的數據，并產生一個批次號；

批次Topic模塊，部署于CMSP服務器，用于保存生成的批次號；

數據Topic模塊，部署于CMSP服務器，用于保存抽取數據及該數據對應的批次號；

數據寫入模塊，用于獲取批次Topic模塊保存的批次號，并用此批次號更新內存中相應表的批次號，用于獲取數據Topic模塊保存的數據及該數據對應的批次號，還用于對比內存中的批次號與獲取數據的批次號，判定數據的有效性，并將有效數據寫入數據庫。

7.根據權利要求6所述的一種基于CMSP實現數據批次同步的平臺，其特征在于，數據抽取模塊從數據庫中抽取全量數據或增量數據。

8.根據權利要求6所述的一種基于CMSP實現數據批次同步的平臺，其特征在于，所述數據抽取模塊每次從數據庫中抽取數據時，都會產生一個批次號，

一方面，所述數據抽取模塊將產生的批次號保存于批次Topic模塊，同時，所述批次Topic模塊將該批次號傳輸至數據寫入模塊，并更新內存中相應表的批次號；

另一方面，所述數據抽取模塊將抽取的數據和產生的批次號保存于數據Topic模塊，同時，所述數據Topic模塊將抽取的數據和產生的批次號傳輸至數據寫入模塊；

所述數據寫入模塊對比內存中的批次號與獲取數據的批次號，來判定數據的有效性，并將有效數據寫入數據庫。

9.根據權利要求6或8所述的一種基于CMSP實現數據批次同步的平臺，其特征在于，對比內存中的批次號與獲取數據的批次號，

(a)若新批次號一致，判定獲取數據是有效數據，將獲取數據寫入數據庫中，

(b)若新批次號不一致，判定獲取數據是過期數據，應該把此數據扔掉或者保存到過期數據文件中進行備份。

10.根據權利要求6所述的一種基于CMSP實現數據批次同步的平臺，其特征在于，所述批次Topic模塊和數據Topic模塊分別提供數據緩存和數據傳輸服務。