[發明專利]一種輕量級歷史系統數據轉換方法及其系統

在審

• 申請號: 201910770679.5
• 申請日: 2019-08-20
• 公開（公告）號: CN110532244A
• 公開（公告）日: 2019-12-03
• 發明（設計）人: 徐德福;余健;賴樹良;李自強;翁莊明;房勇;盧迅恒;潘智;彭本
• 申請（專利權）人: 廣州華資軟件技術有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/25
• 代理公司: 44228 廣州市南鋒專利事務所有限公司
• 代理人: 高崇<國際申請>=<國際公布>=<進入國

本發明公開了一種輕量級歷史系統數據轉換方法，包括與舊系統的歷史系統數據存儲相連接的數據轉換系統，數據轉換方法包括有以下步驟：S1.數據轉換系統獲取歷史數據數據存儲中的歷史數據；S2.數據轉換系統根據所獲取的歷史數據創建對照映射關系，以及配置字段級的映射轉換規則；S3.數據轉換系統根據對照映射關系依次讀取歷史系統數據存儲中的歷史數據，以實時篩選出合規的歷史數據，并基于映射轉換規則將合規的歷史數據依次轉換到新系統的系統數據存儲中；實現了歷史數據轉換的自動化、不合規數據糾錯以及數據轉換后的溯源追查。

技術領域

本發明涉及數據轉換的技術領域，尤其是指一種輕量級歷史系統數據轉換方法及其系統。

背景技術

隨著信息化技術的發展，企業建設了大量的業務系統，而原有建設的業務系統，在技術架構不斷發展情況下，出現不適應新技術發展趨勢，在業務需求不斷變化下，原系統也不能很好響應新的業務提出的需求，在此情況下，企業需要重建新的業務系統或重構舊系統，但在建設新系統后，需要能與舊系統實現業務的無縫切換，后臺需將舊系統業務數據轉入到新系統中，以保證業務的連續性。但新建系統的數據結構是根據業務新需求規劃并建設，在數據結構上與舊系統存在較大的差異性。

在新舊系統的歷史數據轉換時，一般通常采用兩種解決方案：一，編寫SQL腳本，實現庫對庫的遷移，即從舊系統復制數據，通過過濾，合并、計算等規則將歷史數據轉入到新系統中；另一種是采用相關ETL工具進行遷移，即通過直觀的可視化界面，配置相關業務規則，連接舊系統與新系統，將歷史數據進行遷移到新系統。在實際應用中，上述兩個方案都在一些缺陷：

方案一，針對每個表進行編寫轉換代碼，不僅增加了代碼編寫量，同時每次編寫的遷移代碼很難做到重復使用，因系統復雜，數據復雜，涉及到大量的遷移測試，遷移測試會因為一條記錄錯誤導致所有記錄無法遷移，增加了測試復雜性，增加了轉換可操作性，帶來大量的不必要的開發成本，同時代碼也難以維護；

方案二，采用相關ETL工具進行實施，一方面需要投入成本購買工具，同時因復雜數據處理規則帶來的配置成本，且靈活性差，而實施是一次性的歷史數據遷移，無法做到邊際成本遞減。

發明內容

本發明的目的在于克服現有技術的不足，提供一種簡便的、準確的輕量級歷史系統數據轉換方法及其系統

為了實現上述的目的，本發明所提供的一種輕量級歷史系統數據轉換方法，包括與舊系統的歷史系統數據存儲相連接的數據轉換系統，數據轉換方法包括有以下步驟：

S1.數據轉換系統獲取歷史數據數據存儲中的歷史數據；

S2.數據轉換系統根據所獲取的歷史數據創建對照映射關系，以及配置字段級的映射轉換規則；

S3.數據轉換系統根據對照映射關系依次讀取歷史系統數據存儲中的歷史數據，以實時篩選出合規的歷史數據，并基于映射轉換規則將合規的歷史數據依次轉換到新系統的系統數據存儲中。

進一步，在步驟S3中，基于對照映射關系實時記錄合規的歷史數據的轉換進度，以供數據轉換系統根據轉換進度可斷點續轉。

進一步，在步驟S3中，根據對照映射關系依次讀取歷史系統數據存儲中的歷史數據，并實時記錄生成關于不合規的歷史數據的數據錯誤日志，其中，可對不合規的歷史數據進行修正后，基于映射轉換規則轉換至新系統的系統數據存儲中。

進一步，在步驟S3中的數據轉換過程中，實時記錄生成轉換完成的歷史數據在舊系統與新系統之間的主鍵映射關系。

一種輕量級歷史系統數據轉換系統，包括與舊系統的歷史系統數據存儲相連接的數據轉換系統，所述數據轉換系統包括：

-數據獲取單元，用于獲取歷史系統數據存儲中的歷史數據；