[發明專利]一種關系型數據庫間結構化數據的同步方法及系統

有效

• 申請號: 201810030156.2
• 申請日: 2018-01-12
• 公開（公告）號: CN108052681B
• 公開（公告）日: 2020-05-26
• 發明（設計）人: 毛彬;羅威;譚玉珊;羅準辰;牛海波;張吉才;武帥;葉宇銘;田昌海;尹忠博
• 申請（專利權）人: 毛彬;中國人民解放軍軍事科學院軍事科學信息研究中心
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/27;G06F16/25;G06F11/14
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 陳琳琳;武玥

本發明公開了一種關系型數據庫間結構化數據的同步方法，所述方法用于實現源數據庫和目標數據庫之間的數據同步；所述方法包括：步驟1)按照實際業務應用需求，對源數據庫和源數據庫的日志信息中需要導出的結構化原始數據提取鍵值對信息，結合數據操作類型和數據條目標志格式改寫成符合格式要求的中間數據，以json格式存為中間導出數據；步驟2)根據目標數據庫的數據導入策略，結合數據清洗操作和數據庫間格式轉換操作將json中間導出數據從基礎數據映射為目標數據，并轉化為符合相應數據庫導入格式的待導入數據，然后導入目標數據庫；步驟3)對步驟2)生成的待導入數據結合目標數據庫類型進行逆向解析操作，生成用于數據版本回滾的備份恢復數據。

技術領域

本發明涉及數據同步處理領域，尤其涉及一種關系型數據庫間的結構化數據的同步方法和系統。

背景技術

在數據處理領域，通常需要進行數據的抽取、映射轉換、同步等流程。其中原始數據的存檔入庫通常存儲在MySQL、MariaDB、SQLServer等傳統數據庫，而支撐大型檢索需求，進一步的數據處理又將數據存儲于elasticsearch、solr等專業服務于數據檢索引擎的關系型數據庫中，因此，數據需要在多種關系型數據庫間進行映射、同步。此外，提供大型數據應用的企業、公司及數據分析機構等，由于數據資源的權限管控通常配備了內外網的安全隔離設置，對數據的同步就提出了離線單向傳遞的要求。

傳統的數據同步方案能夠很好地解決同一類型的數據庫的數據同步，然而避開了不同數據庫之間的數據映射同步需求；同時，同一網絡下進行雙向通信能夠很好地維護數據間的同步一致性，卻很難及時有效地解決單向通信限制下的由于數據版本沖突的產生數據備份恢復問題。

發明內容

本發明的目的在于針對不同關系型數據庫之間的結構化數據的同步，以及存在單向通信等離線結構化數據的同步等數據處理需求，提出一種關系型數據庫間結構化數據的同步方法及系統，適用于解決數據庫間的數據同步問題，能夠完成數據庫間數據的廣義上的同步，即包括數據的完全一致性性及添加數據清洗操作后的不完全一致的映射同步；尤其適合完成離線情況下的數據同步，增加了數據逆向解析操作，用于數據版本回滾；保證數據的可靠性和穩定性。

為了實現上述目的，本發明提出了一種關系型數據庫間結構化數據的同步方法，所述方法用于實現源數據庫和目標數據庫之間的數據同步；包括但不限于相同類型數據庫間與不同類型數據庫間的數據完全一致性同步以及結合數據清洗操作的數據不完全一致性同步；所述方法包括：

步驟1)按照實際業務應用需求，對源數據庫和源數據庫的日志信息中需要導出的結構化原始數據提取鍵值對信息，結合數據操作類型和數據條目標志格式改寫成符合格式要求的中間數據，以json格式存為中間導出數據；

步驟2)根據目標數據庫的數據導入策略，結合數據清洗操作和數據庫間格式轉換操作將json中間導出數據從基礎數據映射為目標數據，并轉化為符合相應數據庫導入格式的待導入數據，然后導入目標數據庫；

步驟3)對步驟2)生成的待導入數據結合目標數據庫類型進行逆向解析操作，生成用于數據版本回滾的備份恢復數據。

作為上述方法的一種改進，所述步驟1)具體包括：

步驟1-1)將源數據庫中的需要導出的結構化原始數據劃分為：數據表信息、全字段數據和部分數據；

步驟1-2)將數據表信息導出：將源數據庫中需要導出的數據表的結構信息導出，提取鍵值對信息并轉換成json格式保存；所述數據表的結構信息包括：數據庫名、表名、編碼以及所有字段的字段名、類型、長度；