[發明專利]一種結構化數據的同步方法及系統

有效

• 申請號: 201810256981.4
• 申請日: 2018-03-27
• 公開（公告）號: CN108536774B
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 李乾;高曉鵬
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 古利蘭;王寶筠

本申請公開了一種結構化數據的同步方法，包括當源系統的數據發生變化時，基于變化數據包括的數據批次外鍵查詢變化數據的批次信息，查詢到批次信息時，基于批次信息及其對應的變化數據生成同步數據視圖，基于同步數據視圖將變化數據卸載至公共目錄并更新批次信息，從公共目錄中加載變化數據至目標系統的臨時數據表，從臨時數據表中查詢變化數據的數據批次外鍵，基于數據批次外鍵處理目標系統中的待處理數據，將變化數據加載至目標系統的正式數據表中并反饋數據批次外鍵至源系統，基于反饋的數據批次外鍵更新源系統中的批次信息。與現有技術相比本申請可以滿足兩個系統間大數據量的數據同步需求，并且可以在同步過程中及時反饋同步信息。

技術領域

本申請涉及數據存儲技術領域，尤其涉及一種結構化數據的同步方法及系統。

背景技術

隨著金融系統對IT技術應用的不斷深入，系統間數據往來的關系越來越復雜。有些系統間需要傳輸較大規模的數據,同時還有較高的時效性要求。比如，在利率市場化的大背景下，銀行針對存貸款業務開始使用精細化的定價策略，針對不同地域、產品、客戶等信息，由專業的定價系統批量生成對應的利率信息。這些利率值需要發送給辦理存貸款業務的系統，作為與客戶談判的上限或下限利率值。以一個全國性銀行的存款為例，針對不同機構(通常細化到支行)、期限、存款金額、客戶類型等條件組合生成的存款利率上限信息可以達到百萬條的規模。這些利率授權信息的發送需要非常準確和及時，因為如果利率信息更新不及時，針對業務規模大的客戶，利率每偏差一個基點，會給銀行的收益帶來上萬甚至上十萬的變化；或者因為利率優惠不到位，而流失掉一些重要的客戶。

從一個系統往另一個系統同步結構化數據時，目前通常有web服務接口調用、消息隊列和后臺作業鏈處理三種解決思路。web服務接口調用只適合小規模的數據更新,當數據容量較大或并發訪問量劇增時,都容易造成接口調用超時而失敗。消息隊列通過系統間的解耦和異步處理，提高了系統間的并發處理能力，但如果傳遞的數據容量過大，需要消耗大量內存，并且增加了服務器在發生故障時持久化消息的時間和難度，適合并發訪問量峰值大但單次數據容量不大的數據同步，而不太適合單次大容量的數據同步。后臺作業鏈處理可以解決大容量數據的同步問題，但當目標系統的網絡傳輸或者作業鏈程序出現故障時，源系統無法及時獲得相關信息，通常適合實效性要求不高的數據傳遞

因此，如何在兩個系統間需要同步的數據量較大時滿足數據的同步需求且及時獲得反饋成為了本領域技術人員亟需解決的問題。

發明內容

有鑒于此，本申請提供了一種結構化數據的同步方法，與現有技術相比本申請可以滿足兩個系統間大數據量的數據同步需求，并且可以在同步過程中及時反饋同步信息。

本申請提供了一種結構化數據的同步方法，包括：

當源系統的數據發生變化時，基于所述變化數據包括的數據批次外鍵查詢變化數據的批次信息；

查詢到所述批次信息時，基于所述批次信息及其對應的變化數據生成同步數據視圖；

基于所述同步數據視圖將所述變化數據卸載至公共目錄并更新所述批次信息；

從所述公共目錄中加載所述變化數據至所述目標系統的臨時數據表；

從所述臨時數據表中查詢所述變化數據的數據批次外鍵，基于所述數據批次外鍵處理所述目標系統中的待處理數據；

將所述變化數據加載至所述目標系統的正式數據表中并反饋所述數據批次外鍵至源系統；

基于反饋的數據批次外鍵更新所述源系統中的批次信息。

優選地，所述批次信息包括所述變化數據的批次ID及收發狀態，還包括所述變化數據的發送批次、發送結束時間及接收反饋時間中的任意一項或多項。

優選地，還包括：

當查詢不到所述變化數據的批次信息時，生成所述變化數據的批次信息；