[發明專利]一種數據遷移方法及裝置

在審

• 申請號: 202011618158.7
• 申請日: 2020-12-31
• 公開（公告）號: CN112650736A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 段宏宇;田莉萍
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/215
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉猛

本發明提供的數據遷移方法及裝置，先梳理各個源數據庫中屬于同一個邏輯表的物理數據表，從而刪除同一邏輯表對應的冗余物理數據表，然后，在單個源數據庫內分邏輯表并行遷移，不同源數據庫之間串行遷移，從而保證遷移性能和遷移準確性。Spark計算引擎是基于內存計算的大數據并行計算框架，該方案充分利用Spark內存計算的優勢，充分發揮了分布式數據庫和系統的高效特點，通過多個節點在內存中并行運算，提高了數據遷移的效率。而且，該方案使用Spark計算引擎做數據清洗時，只需業務人員提供相應的SQL語句便能快速完成對數據的清洗處理，人工成本低。

技術領域

本發明屬于計算機技術領域，尤其涉及一種數據遷移方法及裝置。

背景技術

很多企業的業務系統由于構建較早，而且使用傳統的關系型數據庫(如Oracle、MySQL、Sybase等)，在數據表的設計上也不夠成熟。隨著企業業務系統承載業務增多，每日數據增量巨大，傳統的關系型數據存儲架構，在存儲能力和性能上已不能滿足當下的業務需求。因此，需要對系統進行重構，在重構的過程中通常面臨數據庫更換的場景，數據遷移就成為大多數系統重構面臨的核心問題。

傳統的一種數據遷移方式，如BCP Out+SQL Loader，該數據遷移方式是源數據庫通過自帶的導出數據文件接口將數據表導出成相應的數據文件，目的數據庫通過自帶的數據導入接口將數據文件加載成相應的數據表。該方式從邏輯上能夠解決所有的數據遷移問題，并可以在導出文件后對數據進行清洗操作。但由于每一張數據表的遷移都涉及數據磁盤的讀寫，對擁有巨量數據的系統而言，遷移的時間非常長，企業無法接受這種數據遷移方式。

另一種是基于Sqoop的數據遷移方式，Sqoop是連接常見關系型數據庫和Hadoop的橋梁，可以把關系型數據庫的數據導入到Hadoop系統(如HDFS、HBase和Hive)中，以及，能夠把數據從Hadoop系統里抽取并導出到關系型數據庫里，且采用批處理方式進行數據傳輸。相較于BCP Out+SQL Loader，Sqoop的操作更加方便，其底層使用MapReduce計算框架，性能上也有較大的提升。但是Sqoop對部分小眾的關系型數據如Sybase數據庫不支持，而且，雖然Sqoop采用MapReduce計算框架，能在一定程度上提高遷移效率，但MapReduce仍然存在大量落地磁盤操作，遷移效率仍然不理想。

此外，由于企業業務系統建立較早，在數據表設計方面考慮不周全，導致大量數據冗余，甚至存在大量錯誤的數據。亟需借助數據遷移的機會對數據清洗，但是，若采用傳統的數據文件遷移方式，通過更改數據文件內容，時間成本非常大的；若采用Sqoop組件進行數據遷移，通過編寫MapReduce程序更改傳輸的數據，人力成本非常大。即，傳統的數據遷移方式清洗成本很高。

發明內容

有鑒于此，本發明的目的在于提供一種數據遷移方法及裝置，以提高數據遷移效率，同時，在數據遷移過程中對數據進行清洗，且清洗成本低，其公開的具體技術方案如下：

第一方面，本發明提供了一種數據遷移方法，包括：

基于Spark計算引擎梳理各個源數據庫中屬于同一邏輯表的所有物理數據表，并刪除冗余數據，得到同一個所述邏輯表對應的待遷移物理數據表；

對于任一源數據庫，基于Spark計算引擎并行遷移不同邏輯表中的待遷移物理數據表，直到所述源數據庫中屬于同一邏輯表的待遷移物理數據表遷移完，繼續遷移下一個源數據庫中屬于所述同一邏輯表的待遷移物理數據表。

可選地，所述基于Spark計算引擎并行遷移不同邏輯表中的待遷移物理數據表，直到所述源數據庫中屬于同一邏輯表的待遷移物理數據表遷移完，包括：

對于并行遷移的不同邏輯表中的任一邏輯表，均執行以下步驟：

將所述源數據庫中存儲的屬于所述任一邏輯表的各個待遷移物理數據表的配置信息存儲至待遷移物理數據隊列中；