[發明專利]數據同步控制裝置和數據同步系統及方法

有效

• 申請號: 201610772200.8
• 申請日: 2016-08-30
• 公開（公告）號: CN107784016B
• 公開（公告）日: 2019-02-15
• 發明（設計）人: 李建星
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06Q10/10;G06Q10/06
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 蔡純;張靖琳

本公開實施例提供了一種數據同步控制裝置和數據同步系統及方法。所述方法包括：配置系統中數據節點之間的數據流向，生成數據流向配置信息；讀取所述數據流向配置信息以及第一數據節點和第二數據節點中的數據的來源標記，根據所述數據流向配置信息和所述數據的來源標記生成增量數據控制信息；根據所述增量數據控制信息生成增量數據，向所述第二數據節點發送所述增量數據并更新所述第二數據節點中所述增量數據的來源標記。應用本公開實施例提供的方法可以解決數據反向傳導和循環傳導造成的數據回流問題，從而減少數據存儲所需資源，提升數據傳輸效率，減少網絡帶寬資源的占用。

技術領域

本公開實施例涉及數據信息處理技術領域，尤其涉及一種數據同步控制裝置和數據同步系統及方法。

背景技術

目前，在企業內部的眾多業務系統之間，很多時候需要進行大批量數據交互(非消息接口的方式)。在兩個業務系統之間的數據同步，既有單向同步，也有雙向同步，這些數據交互的業務系統構成了復雜的網狀結構，導致數據同步時存在數據回流的問題，即同一份數據從業務系統A同步到業務系統B中，而又發生從業務系統B回流到業務系統A中的情況。

現有的數據同步的方法很簡單，即數據通過全量或者增量方式將數據從業務系統A同步到業務系統B中。所謂全量方式，即將一張表的全部數據一次性的從業務系統A同步到業務系統B中；所謂增量方式，即先判斷業務系統A的數據產生時間，每次只將在某一個時間點之后的數據同步到業務系統B中。

在實現本發明的過程中，發明人發現現有技術中存在以下問題：

在兩個業務系統之間數據同步時，未考慮增量數據的來源，造成數據回流；在構成網狀結構的多個業務系統數據同步時，未考慮數據循環傳導的情況，造成間接的數據回流。

因此，現有技術方案無法解決數據反向傳導和循環傳導造成的數據回流問題，會造成存儲資源、網絡資源的浪費以及數據傳輸的效率降低，在整體上無法有效管理多個業務系統之間的數據同步。

發明內容

有鑒于此，本公開實施例提供一種數據同步控制裝置和數據同步系統及方法，用以解決數據反向傳導和循環傳導造成的數據回流問題。

根據本公開實施例的第一方面，提供一種數據同步控制裝置，包括：

數據流向配置模塊，用于配置系統中數據節點之間的數據流向，生成數據流向配置信息；

增量數據控制模塊，用于讀取所述數據流向配置信息以及第一數據節點和第二數據節點中的數據的來源標記，根據所述數據流向配置信息和所述數據的來源標記生成增量數據控制信息，并將所述增量數據控制信息發送給所述第一數據節點，

還用于更新所述第一數據節點向所述第二數據節點發送的增量數據的來源標記。

優選地，所述數據流向配置信息包括：

源數據節點、目的數據節點和數據流向有效性標識，

其中，所述數據流向有效性標識用于表示所述源數據節點和所述目的數據節點之間的數據流向是否有效。

優選地，所述來源標記包括：

數據生成節點，表示系統中最早產生該數據的數據節點；

數據生成時間，表示系統中最早產生該數據的時間起點；

數據來源節點，表示將該數據發送至本數據節點的源數據節點；

數據更新時間，表示該數據完整發送至本數據節點的時間點。

優選地，所述增量數據控制模塊包括：

數據流向判斷單元，用于根據所述數據流向配置信息和所述第二數據節點中的數據的來源標記，判斷所述第一數據節點是否需要向所述第二數據節點發送數據；