[發明專利]一種異構CPU體系下數據全量遷移的方法

在審

• 申請號: 202011154125.1
• 申請日: 2020-10-26
• 公開（公告）號: CN112269775A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 周棟;李光亞;陳誠;陳佳;文丹;杜菡
• 申請（專利權）人: 萬達信息股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/242;G06F21/60
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 徐俊

本發明提供了一種異構CPU體系下數據全量遷移的方法。本發明提供的方法，解決了異構CPU體系下數據全量遷移完整性的問題，有利于信息系統的向新型軟硬件環境遷移，有利于解決無網絡環境下的數據遷移，有利于提高數據遷移過程中的完整性和安全性，有利于對遷移數據的備份，有利于識別錯誤的遷移數據。利用本發明提供的方法可以在不同數據庫之間進行數據的全量遷移，簡化數據遷移過程，提高數據完整性，并適用于有多種CPU體系的環境。

技術領域

本發明涉及在不同CPU體系架構下包括不同的操作系統、不同的數據庫之間進行全量數據遷移并通過一致性校驗保證數據完整性的方法，屬于數據庫技術領域。

背景技術

隨著計算機CPU技術的發展，桌面計算機已經從x86體系逐步擴展為包括ARM、MIPS、SW64等多種體系結構，并在逐步替代x86體系，操作系統從Windows擴展為多種基于Linux內核的操作系統，數據庫也從ORACLE、SQLServer、DB2等傳統數據庫擴展為達夢、人大金倉、神舟通用等多種數據庫，由此帶來傳統的應用系統在向新型軟硬件環境遷移時需要進行跨CPU體系架構、跨數據庫的數據遷移問題。

數據庫軟件提供的數據遷移工具在實際應用中出現數據長度改變、數據精度改變、生僻字丟失等問題，并且沒有提供數據完整性校驗的方法，導致業務系統出現存儲錯誤、數據丟失等問題，使得向新型軟硬件環境遷移困難。

發明內容

本發明的目的是提供一種異構CPU體系下通過離線文件和字段校驗在異構CPU體系下實現全量數據遷移并保證數據完整性的方法。

為了達到上述目的，本發明的技術方案是提供了一種異構CPU體系下數據全量遷移的方法，其特征在于，包括以下步驟：

步驟1、使用SQL語句從源數據庫導出數據表數據生成數據表的文本文件，每個數據表生成一個獨立的文本文件，每個文本文件名為數據表名，在每個文本文件中：

第一行為以ASCII碼一分隔的字段名，且第一行的最后為一個校驗字段名；

從第二行起為數據表的數據，相鄰兩行數據之間以ASCII碼二分隔，每行數據的字段值以ASCII碼一分隔，其中：字符型數據以雙引號括起；數字型數據保持不變；日期型數據以[]括起，年月日的分隔符為/；空值為(null)；文本型數據保持不變，每行數據的最后為校驗數據；

步驟2、讀取一個文本文件，將文件名記錄為當前文本文件對應的數據表名；

步驟3、讀取當前文本文件的內容，將ASCII碼一及ASCII碼二替換為空格，另存為臨時文件tmp_數據表名；

步驟4、從臨時文件tmp_數據表名的第二行開始按行讀入，除了最后的校驗數據外，每行的其他數據以ASCII碼一為分隔讀取每個字段值并進行數據格式轉換，其中：字符型數據將兩端的雙引號替換為單引號；數字型數據保持不變；日期型數據去掉兩端的[]，將年月日的分隔符/替換為-，上午/下午替換為AM/PM，并以單引號括起；(null)替換為null；文本型數據以單引號括起；

每行數據的字段之間以逗號分隔，前端加入INSERT INTO表名VALUES(，后端加入)；ASCII碼二，存入導入文件do_數據表名；

將每行數據中的校驗數據存入導入校驗文件vf_數據表名；

步驟5、重復步驟2到步驟4，直到所有文本文件均被處理完成；

步驟6、將所有導入文件do_數據表名、導入校驗文件vf_數據表名轉儲到目標數據庫服務器上；

步驟7、按行依次讀入導入文件do_數據表名的內容，寫入新的數據庫語句文件，每個數據庫語句文件最多包含指定的行，文件名以db-tb1.sql～db-tbn.sql依次順序編號；