[發明專利]一種數據同步的控制方法、系統及裝置

在審

• 申請號: 201811442204.5
• 申請日: 2018-11-29
• 公開（公告）號: CN109684391A
• 公開（公告）日: 2019-04-26
• 發明（設計）人: 楊井
• 申請（專利權）人: 無錫天脈聚源傳媒科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06Q40/04
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 譚英強

本發明公開了一種數據同步的控制方法、系統及裝置，其中，系統包括數據業務層、卡夫卡層和數據庫，所述數據業務層通過卡夫卡層與數據庫連接；所述數據業務層用于獲取并運算貨幣交易數據，并將貨幣交易數據傳輸至卡夫卡層；所述卡夫卡層用于采用消息隊列方式接收并分析貨幣交易數據后，將分析后的貨幣交易數據傳輸至數據庫；所述數據庫用于將接收到的貨幣交易數據存儲接收到相應的MongoDB模塊中。本發明通過卡夫卡的消息隊列方式對貨幣交易數據進行分析，再將分析的數據結構存儲到數據庫，而無需在數據庫中進行數據分析，極大地減少了數據的運算壓力，提高了數據庫的安全穩定性，可廣泛應用于數據處理領域。

技術領域

本發明涉及數據處理領域，尤其涉及一種數據同步的控制方法、系統及裝置。

背景技術

隨著網絡技術的迅速發展，催生了許多游戲軟件，許多游戲軟件中需要用虛擬貨幣，而虛擬貨幣的流通，對于游戲軟件來說，就如同人體的血液流通。虛擬貨幣每天都會產生大量的交易數據，系統需要實時獲取這些交易數據進行分析，現在的技術是，通過業務層直接與數據庫直接連接，大量的交易數據直接在數據庫內寫入和讀取，由于這種頻繁的并發讀寫操作，極大地增加了數據庫的壓力，會影響數據庫的正常運行，產生巨大的損失。

名詞解釋：

消息隊列：是在消息的傳輸過程中保存消息的容器。

卡夫卡：即Kafak，是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。

MongoDB模塊：分布式文檔存儲數據庫，由C++語言編寫，旨在為WEB應用提供可擴展的高性能數據存儲解決方案。MongoDB模塊是一個高性能，開源，無模式的文檔型數據庫，是當前NoSql數據庫中比較熱門的一種。它在許多場景下可用于替代傳統的關系型數據庫或鍵/值存儲方式。

發明內容

為了解決上述技術問題，本發明的第一目的是提供一種減輕數據庫運算壓力的數據同步的控制系統。

本發明的第二目的是提供一種減輕數據庫運算壓力的數據同步的控制方法。

本發明的第三目的是提供一種減輕數據庫運算壓力的數據同步的控制裝置。

本發明所采用的第一技術方案是：

一種數據同步的控制系統，包括數據業務層、卡夫卡層和數據庫，所述數據業務層通過卡夫卡層與數據庫連接；

所述數據業務層用于獲取并運算貨幣交易數據，并將貨幣交易數據傳輸至卡夫卡層；

所述卡夫卡層用于采用消息隊列方式接收并分析貨幣交易數據后，將分析后的貨幣交易數據傳輸至數據庫；

所述數據庫用于將接收到的貨幣交易數據存儲接收到相應的MongoDB模塊中。

進一步，所述卡夫卡層包括Java服務模塊，所述Java服務模塊用于在接收到貨幣交易數據后，根據貨幣交易數據的類型將貨幣交易數據存儲在預設的數據組中，并將數據組中的貨幣交易數據映射存儲至相應類型的MongoDB模塊中。

進一步，所述數據組包括同步數據組和異步數據組。

進一步，所述夫卡層還包括數據分析模塊，所述數據分析模塊用于從異步數據組中獲取各類型的貨幣交易數據，并對貨幣交易數據進行分析后，將分析結果存儲至相應的MongoDB模塊中。

進一步，所述數據業務層包括主節點模塊和備份節點模塊；

所述主節點模塊用于對貨幣交易數據進行運算處理；

所述備份節點模塊用于實時備份主節點模塊的運算節點，并在判斷主節點模塊出現故障時，替換主節點模塊對貨幣交易數據進行運算處理。

本發明所采用的第二技術方案是：