[發(fā)明專利]一種基于CMSP實現(xiàn)數(shù)據(jù)批次同步的方法及平臺

在審

• 申請?zhí)枺?/td>: 202011186111.8
• 申請日: 2020-10-30
• 公開（公告）號: CN112269820A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設計）人: 葛東遙;肖雪;李朝銘;王建華
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/23;G06F16/27
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 馮春連

本發(fā)明公開一種基于CMSP實現(xiàn)數(shù)據(jù)批次同步的方法及平臺，涉及數(shù)據(jù)同步技術領域，其實現(xiàn)過程包括：從數(shù)據(jù)庫中抽取數(shù)據(jù)，抽取時產生一個批次號，將該批次號放入CMSP服務器的批次Topic中，同時，將抽取數(shù)據(jù)及該數(shù)據(jù)對應的批次號放入CMSP服務器的數(shù)據(jù)Topic中；從CMSP服務器的批次Topic中獲取批次號，并根據(jù)此批次號更新內存中相應表的批次號，從CMSP服務器的數(shù)據(jù)Topic中獲取數(shù)據(jù)及對應批次號；將內存中的批次號與獲取數(shù)據(jù)的批次號進行對比，判定數(shù)據(jù)的有效性，并將有效數(shù)據(jù)寫入數(shù)據(jù)庫。本發(fā)明通過數(shù)據(jù)抽取產生數(shù)據(jù)批次號，實現(xiàn)對數(shù)據(jù)同步入庫的操作和控制，解決了大量過期數(shù)據(jù)入到數(shù)據(jù)庫、有效數(shù)據(jù)不能快速入庫、大量的過期數(shù)據(jù)占據(jù)了隊列資源的問題。

技術領域

本發(fā)明涉及數(shù)據(jù)同步技術領域，具體的說是一種基于CMSP實現(xiàn)數(shù)據(jù)批次同步的方法及平臺。

背景技術

隨著云服務和大數(shù)據(jù)的發(fā)展，多源異構海量數(shù)據(jù)匯聚是當今社會的需要，數(shù)據(jù)匯聚技術之一就是數(shù)據(jù)同步。大量的數(shù)據(jù)如何高效、快速進行數(shù)據(jù)同步，需要高效的數(shù)據(jù)傳輸鏈路，目前數(shù)據(jù)傳輸鏈路往往都是借用消息中間件，CMSP正是云和大數(shù)據(jù)時代的一種高性能消息中間件，對外提供高性能、高可靠的消息隊列服務，滿足大數(shù)據(jù)實時處理和微服務處理架構。

數(shù)據(jù)同步在采集到多源的眾多表的數(shù)據(jù)時，傳統(tǒng)方式是把數(shù)據(jù)放入消息隊列中，這么多數(shù)據(jù)包含有效數(shù)據(jù)和過期數(shù)據(jù)，過期數(shù)據(jù)對于目標入庫程序是無用的，應該把過期數(shù)據(jù)快速消費掉或扔掉，快速獲取有效數(shù)據(jù)進行入庫。過期數(shù)據(jù)是由于數(shù)據(jù)源重新抽取全量或增量數(shù)據(jù)，導致隊列中之前抽取的數(shù)據(jù)沒有處理完，新數(shù)據(jù)有進入隊列中，這些沒有處理完的之前數(shù)據(jù)就稱之為過期數(shù)據(jù)。如果有效數(shù)據(jù)和過期數(shù)據(jù)不進行區(qū)分，會導致入庫不能快速處理有效數(shù)據(jù)，往往會導致一系列問題：

一是：隊列中存在大量的有效數(shù)據(jù)和過期數(shù)據(jù)，會導致入庫無法區(qū)分有效數(shù)據(jù)和過期數(shù)據(jù)，只能把過期數(shù)據(jù)也按有效數(shù)據(jù)處理，這樣會存在大量過期數(shù)據(jù)入到數(shù)據(jù)庫中，同時也給新數(shù)據(jù)的如何進入到數(shù)據(jù)庫中帶來了困難。

二是：大量的過期數(shù)據(jù)處理，導致有效數(shù)據(jù)不能快速的入庫，新數(shù)據(jù)不能及時提供給上層應用。

三是：大量的過期數(shù)據(jù)，占據(jù)了隊列資源，一旦隊列控制占滿，導致新抽取的數(shù)據(jù)不能進入到隊列中。

發(fā)明內容

本發(fā)明針對目前技術發(fā)展的需求和不足之處，提供一種基于CMSP實現(xiàn)數(shù)據(jù)批次同步的方法及平臺，旨在提高對有效數(shù)據(jù)的及時、快速高效的處理。

首先，本發(fā)明提供一種基于CMSP實現(xiàn)數(shù)據(jù)批次同步的方法，解決上述技術問題采用的技術方案如下：

一種基于CMSP實現(xiàn)數(shù)據(jù)批次同步的方法，其實現(xiàn)包括：

從數(shù)據(jù)庫中抽取數(shù)據(jù)，抽取時產生一個批次號，將該批次號放入CMSP服務器的批次Topic中，同時，將抽取數(shù)據(jù)及該數(shù)據(jù)對應的批次號放入CMSP服務器的數(shù)據(jù)Topic中；

從CMSP服務器的批次Topic中獲取批次號，并根據(jù)此批次號更新內存中相應表的批次號，從CMSP服務器的數(shù)據(jù)Topic中獲取數(shù)據(jù)及對應批次號；

將內存中的批次號與獲取數(shù)據(jù)的批次號進行對比，判定數(shù)據(jù)的有效性，并將有效數(shù)據(jù)寫入數(shù)據(jù)庫。

可選的，從數(shù)據(jù)庫中抽取數(shù)據(jù)，抽取的數(shù)據(jù)可以是全量數(shù)據(jù)或增量數(shù)據(jù)。

可選的，當從數(shù)據(jù)庫中重新抽取數(shù)據(jù)時，再產生一個新批次號，將新批次號放入批次Topic中，同時，將抽取數(shù)據(jù)及該數(shù)據(jù)對應的新批次號放入數(shù)據(jù)Topic中；

從CMSP服務器的批次Topic中獲取新批次號，批次號，并根據(jù)此新批次號更新內存中相應表的批次號，從CMSP服務器的數(shù)據(jù)Topic中獲取數(shù)據(jù)及該數(shù)據(jù)對應的新批次號；

將內存中的新批次號與獲取數(shù)據(jù)的新批次號進行對比判定數(shù)據(jù)的有效性，并將有效數(shù)據(jù)寫入數(shù)據(jù)庫。