[發明專利]一種數據遷移方法、裝置、電子設備和存儲介質

在審

• 申請號: 202011197517.6
• 申請日: 2020-10-30
• 公開（公告）號: CN112256674A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 李承文;陳志國
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 賈磊;李輝

本發明提供了一種數據遷移方法、裝置、電子設備和存儲介質，該方法包括：獲取待遷移數據的數據信息；根據待遷移數據的數據信息確定待遷移數據的遷移類型，其中，遷移類型包括全量遷移、增量遷移和全量增量遷移；按照確定好的遷移類型遷移數據。本發明可以通過將待遷移數據的數據信息將確定出遷移類型，遷移類型包括全量遷移、增量遷移和全量增量遷移，即考慮針對數據信息的不同，將數據庫中的待遷移數據進行區分，并采用不同的遷移類型，從而提高了數據遷移過程的健壯性，提高了數據遷移的效率。

技術領域

本發明涉及數據庫技術領域，尤其涉及一種數據遷移方法、裝置、電子設備和存儲介質。

背景技術

隨著互聯網和計算機技術的迅速發展，越來越多的業務可以在網上進行，用戶可以通過互聯網向業務系統提交業務請求，業務系統根據接收的業務請求進行相應的業務處理，并向用戶返回業務處理結果，在此過程中，業務系統會生成相應的業務數據，并將這些業務數據以數據記錄的形式存儲在該業務系統的數據庫中。在實際應用中，為了提高業務處理能力，經常需要對業務系統進行更新。當要將原業務系統升級為新業務系統時，若新業務系統使用的數據庫(稱為：目標數據庫)與原業務系統使用的數據庫(稱為：源數據庫)不相同，則需要相應地將源數據庫中的數據向目標數據庫中遷移，以便于新業務系統能夠正常地為用戶服務。

數據遷移的實現可以分為三個階段：數據遷移前的準備、數據遷移的實施和數據遷移后的校驗。數據遷移的成功與否是新業務系統成功上線的重要前提，也是新業務系統今后穩定運行的有力保障。如果數據遷移失敗，新業務系統將不能正常啟用；如果數據遷移的質量較差，沒能屏蔽全部的垃圾數據，則會嚴重影響新業務系統的穩定性，新業務系統一旦訪問這些垃圾數據，可能會由這些垃圾數據產生新的錯誤數據,嚴重時還會導致系統異常等不可預知的異常。相反，成功的數據遷移可以有效地保障新業務系統的順利運行，能夠保留珍貴的歷史數據。歷史數據對于公司無疑都是一種非常珍貴的資源。特別是金融行業，其數據都是積累了上十年乃至幾十年的數據，其數據量非常大，且冗余數據也比較多，這也給數據遷移工作帶來了新的挑戰。

要完成應用數據的遷移，需要對待遷移數據源進行詳細的分析，包括數據的存儲方式、數據量、數據的時間跨度；建立新舊系統數據庫的數據字典；對舊系統的歷史數據進行質量分析，新舊系統數據結構的差異分析；建立新老系統數據庫表的映射關系，對無法映射字段的處理方法；開發、部屬ETL工具，編寫數據轉換的測試計劃和校驗程序；制定數據轉換的應急措施。

數據遷移可以采用系統切換前通過工具遷移、系統切換前采用手工錄入、系統切換后通過新系統生成這三種方式完成。通過工具遷移的方式可以根據預案系統數據的某種抽象規則轉換為新系統里的數據、序列，直接進行遷移，數據完全來源于源系統，數據遷移過程中需要手工整理和人工干預的情況很少，可以保證業務平滑過渡以及高準確性；通過手工錄入的方式進行數據遷移，一般采取excel表格的形式清查并且錄入系統數據，這種方式的數據完全來源于數據源，需要大量的人工干預，況且容易引發人為的數據錯亂，可用性相比使用工具遷移較差。另一方面，金融行業數據有著數據量大，安全性要求高的特性，通過收工錄入的方式遷移不滿足該特性要求；通過新系統生成數據的方式進行數據遷移，在系統切換后，會通過新系統的相關功能利用系統中現有的數據生成新系統中的新數據，其實施的前提是這些數據能夠通過其他數據生成。面對金融行業數據關聯性較高，歷史數據生成方式難以回溯的特性，這種遷移方式也不適用于金融行業數據的遷移。因此，如何提高數據遷移的質量是行業難題。

發明內容

本發明提供了一種數據遷移方法、裝置、電子設備和存儲介質，目的在于提供一種提高數據遷移過程的健壯性，提高數據遷移效率和穩定性的方法及裝置，解決目前數據遷移效率低的技術問題。

本發明一方面提供一種數據遷移方法，所述方法包括：

獲取待遷移數據的數據信息；

根據所述待遷移數據的數據信息確定所述待遷移數據的遷移類型，其中，所述遷移類型包括全量遷移、增量遷移和全量增量遷移；