[發明專利]一種非同源數據庫同步方法及裝置

在審

• 申請號: 202210344358.0
• 申請日: 2022-04-02
• 公開（公告）號: CN114756623A
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 王巍峰;解春磊;劉延祺;王君毅
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/21;G06F16/23;G06F16/25
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 董驍毅;周永君

本發明提供了一種非同源數據庫同步方法及裝置，可以應用于大數據領域，方法包括：根據預存的映射關系表，查找獲取的數據表對應的批量任務信息；根據批量任務信息對數據表進行加載，并在加載完成后記錄加載任務執行日期后進行數據導出；對導出的數據進行格式轉換處理，并在格式轉換處理后判斷在導出的數據中是否存在特殊字符并對數據進行預處理；使用腳本自動生成方法生成數據導入腳本將預處理后的數據導入至目標數據庫中。

技術領域

本申請屬于數據庫遷移技術領域，具體地講，涉及一種非同源數據庫同步方法及裝置。

背景技術

在進行非同源數據庫遷移時，如何將舊庫中的存量數據無損遷移到新庫中是其中最基礎的一項工作。非同源數據庫在進行數據同步時將面臨非常多的操作步驟，包括暫停批量任務、生成導出導入腳本、數據導出、數據導入、數據核對、放開批量任務等，并且每個操作都需要確保正確完成以后才能進入下一步操作，因此如果要求人工按照以上步驟逐步核對、逐步操作，逐步完成不但工作量極大且極易出現紕漏，甚至可能導致整個數據同步工作的失敗。總而言之，在數據遷移過程中，通常會面臨以下幾個問題，由于不同的數據庫具有不同的特性，在進行數據導出導入時，需要考慮數據庫語句的兼容性問題；存量數據中的特殊字符，可能導致在導入數據時產生字段對應、數據行對應的問題，需要考慮數據完整性的問題；數據庫每日都要加載新增的數據，需要考慮數據遷移過程中批量加載同步性的問題；數據庫每天都要對外提供大量數據傳送、報表查詢等服務，需要考慮遷移過程對每日正常服務的影響問題。

發明內容

本申請提供了一種非同源數據庫同步方法及裝置，以至少解決非同源數據庫遷移時數據批量加載不同步、數據庫語句兼容性差等問題。

根據本申請的一個方面，提供了一種非同源數據庫同步方法，包括：

根據預存的映射關系表，查找獲取的數據表對應的批量任務信息；

根據批量任務信息對數據表進行加載，并在加載完成后記錄加載任務執行日期后進行數據導出；

對導出的數據進行格式轉換處理，并在格式轉換處理后判斷在導出的數據中是否存在特殊字符并對數據進行預處理；

使用腳本自動生成方法生成數據導入腳本將預處理后的數據導入至目標數據庫中。

在一實施例中，非同源數據庫同步方法還包括：

在數據導入目標數據庫后，對數據進行比對驗證并根據驗證結果確定是否進行數據批量加載。

在一實施例中，對數據進行比對驗證并根據驗證結果確定是否進行數據批量加載，包括：

調用數據比對工具對新舊環境的數據進行數據比對驗證并記錄驗證結果；

如果驗證結果一致，則放開原數據庫中數據的批量加載；

更新目標數據庫的批量任務狀態以確保原數據庫和目標數據庫可以同事開始加載相同日期的數據。

在一實施例中，根據批量任務信息對數據表進行加載，包括：

根據批量任務信息中的任務狀態字段判斷任務是否處于完成加載的狀態；

如果否，則繼續執行加載并在延時指定時間后再次判定是否處于完成加載的狀態。

在一實施例中，在加載完成后記錄加載任務執行日期后進行數據導出，包括：

如果判斷任務處于已完成加載的狀態，則將該任務暫停并記錄該任務的執行日期；

將加載完成后的數據進行導出。

在一實施例中，對導出的數據進行格式轉換處理并在格式轉換處理后判斷在導出的數據中是否存在特殊字符并對數據進行預處理，包括：

對導出的數據進行逐行轉碼操作；