[發明專利]一種基于海量數據遷移的數據抽取加載方法

有效

• 申請號: 201710028883.0
• 申請日: 2017-01-16
• 公開（公告）號: CN106777345B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 董志鵬;徐兵兵;丁慶申;郭鳳
• 申請（專利權）人: 浪潮軟件科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

本發明公開了一種基于海量數據遷移的數據抽取加載方法，其實現過程為：首先進行數據抽取，通過創建臨時用戶，使外部表與數據源分離，對海量數據進行分區并行切分產生若干個dump文件；然后進行數據加載，即對數據進行解析與處理，轉換過濾異常數據，最終采用批量導入數據的方式將數據遷移到目標數據源中。本發明的一種基于海量數據遷移的數據抽取加載方法與現有技術相比，可以快速將海量數據從各類數據源中進行抽取及加載，并且對數據源系統的影響非常小，保證數據的準確性，最大程度降低對業務系統的影響，實用性強，適用范圍廣泛，具有很好的推廣應用價值。

技術領域

本發明涉及數據遷移技術領域，具體地說是一種基于海量數據遷移的數據抽取加載方法。

背景技術

在數據庫海量數據遷移時，其一般具有以下需求：

1、數據庫版本異構版本升級：如Oralce 8i 升級到 9i，甚至是Oracle10g，等等；

2、操作系統升級：如AIX 4.3 升級 5.2，甚至是HP Unix環境下，等等；

3、磁盤陣列擴容：從老的磁盤升級到新的、其他不同廠家的高端磁盤中，等等。

但是在實際遷移過程中，也存在以下問題：

1、大數據遷移時，數據抽取及加載消耗大量物理資源并且耗時無法保證，一旦加載出現錯誤，需重新開始，費力費時。

2、減少大數據遷移對源數據產生的影響，降低事故產生幾率。

3、大數據遷移時，數據加載耗時過長，容易造成數據損壞或丟失。

基于以上現狀，本發明提出一種基于海量數據遷移的數據抽取加載方法，來解決上述問題。

發明內容

本發明的技術任務是針對以上不足之處，提供一種基于海量數據遷移的數據抽取加載方法。

一種基于海量數據遷移的數據抽取加載方法，其實現過程為：首先進行數據抽取，通過創建臨時用戶，使外部表與數據源分離，對海量數據進行分區并行切分產生若干個dump文件；然后進行數據加載，即對數據進行解析與處理，轉換過濾異常數據，最終采用批量導入數據的方式將數據遷移到目標數據源中。

所述臨時用戶是指只讀用戶、外部表用戶，其中只讀用戶具有數據源中的select權限；外部表用戶，該用戶通過創建外部表生成dump文件，外部表用戶繼承只讀用戶中的select權限。

當開始抽取數據的時候，首先查找是否有權限讀取數據，滿足權限條件后，開始生成外部表dump，一個表可并行生成若干個dump，具體為：使用外部表的數據泵oracle_datadump引擎，在指定的目錄下生成若干個dump文件，并可指定并行度，指定dump名稱。

數據加載時，在目標環境中創建只讀用戶、外部表用戶，外部表用戶中存放需要加載的外部表，整個外部表的dump文件加載可即插即用，使用完畢后直接卸載即可；

數據加載通過insert append的方式進行數據導入，根據數據情況進行切分粒度控制，將大數據在數據抽取的時候進行細粒度切分，產生若干個dump文件，緩解undo操作的壓力。

在數據加載前還包括數據比較的步驟，通過比較只讀用戶和外部表用戶中的外部表數據，即目標數據和源數據，匹配主鍵列，進行數據的冗余比較。

本發明的一種基于海量數據遷移的數據抽取加載方法和現有技術相比，具有以下有益效果：

本發明的一種基于海量數據遷移的數據抽取加載方法，在海量數據遷移時，處理復雜海量數據遷移，從遷移必要性出發，在理論、方法和應用三個層次上提出的數據抽取及加載方法，降低遷移成本，提高大數據遷移效率，保證整個數據遷移過程靈活性及開放性，滿足數據遷移性能擴展性；