[發明專利]一種基于海量數據遷移的數據抽取加載方法

有效

• 申請號: 201710028883.0
• 申請日: 2017-01-16
• 公開（公告）號: CN106777345B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 董志鵬;徐兵兵;丁慶申;郭鳳
• 申請（專利權）人: 浪潮軟件科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

1.一種基于海量數據遷移的數據抽取加載方法，其特征在于，其實現過程為：首先進行數據抽取，通過創建臨時用戶，使外部表與數據源分離，對海量數據進行分區并行切分產生若干個dump文件；然后進行數據加載，即對數據進行解析與處理，轉換過濾異常數據，最終采用批量導入數據的方式將數據遷移到目標數據源中；

當開始抽取數據的時候，首先查找是否有權限讀取數據，滿足權限條件后，開始生成外部表dump，一個表可并行生成若干個dump；

一個表并行生成若干個dump的具體過程為：使用外部表的數據泵oracle_datadump引擎，在指定的目錄下生成若干個dump文件，并可指定并行度，指定dump名稱；

數據加載時，在目標環境中創建只讀用戶、外部表用戶，外部表用戶中存放需要加載的外部表，整個外部表的dump文件加載可即插即用，使用完畢后直接卸載即可；

數據加載通過insert append的方式進行數據導入，根據數據情況進行切分粒度控制，將大數據在數據抽取的時候進行細粒度切分，產生若干個dump文件，緩解undo操作的壓力；

在數據加載前還包括數據比較的步驟，通過比較只讀用戶和外部表用戶中的外部表數據，即目標數據和源數據，匹配主鍵列，進行數據的冗余比較。

2.根據權利要求1所述的一種基于海量數據遷移的數據抽取加載方法，其特征在于，所述臨時用戶是指只讀用戶、外部表用戶，其中只讀用戶具有數據源中的select權限；外部表用戶，該用戶通過創建外部表生成dump文件，外部表用戶繼承只讀用戶中的select權限。