[發明專利]一種數據抽取方法及裝置

有效

• 申請號: 201810132705.7
• 申請日: 2018-02-09
• 公開（公告）號: CN108228908B
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 林明;歐陽小兵;戴麗瑪;于鴻鵬;陳宏亮;張丹;張素釗
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本發明公開了一種數據抽取方法及裝置，該方法包括：對獲取的源系統的數據抽取任務進行解析，并按照數據分區粒度生成與所述數據抽取任務對應的數據抽取列表；根據所述數據抽取列表中的數據容量，確定對所述源系統的數據抽取方式；若采用第一預設數據抽取方式進行數據抽取時，將每個所述數據分區的數據進行抽取，并生成第一數據文件，將所述第一數據文件保存至目標系統；若采用第二預設數據抽取方式進行數據抽取時，對所述源系統進行數據抽取，并將抽取到的數據文件保存至所述目標系統。通過本發明實現了數據表分區抽取，提高了數據抽取效率和減少數據抽取錯誤的目的。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種數據抽取方法及裝置。

背景技術

隨著互聯網技術的發展，越來越多的系統之間需要進行數據傳輸和應用，這就需要將某些系統的數據進行抽取并導入或導出到對應的目的系統。

現有的數據抽取方案通常是通過以下步驟實現的：識別需要導出的源系統數據表范圍；編寫導出導入語句，導出DMP文件傳到目標系統，或者導入DMP文件。現有數據抽取方案整個處理流程都需要操作人員進行控制和執行，這樣會由于人工干預使得數據抽取效率較低。并且，對于大量數據表的導出導入過程容易出錯，一旦導出的DPM文件有問題，對于一次性導出數百張甚至數千張表，那么所有的表都將無法成功導出和導入，使得效率較低并且準確性較低；由于每張數據表的結構不同，現有的方案中使用數據抽取語句無法實現抽取所有表中符合需求的一部分數據，會出現數據抽取錯誤的影響。

發明內容

針對于上述問題，本發明提供一種數據抽取方法及裝置，實現了數據表分區抽取，提高了數據抽取效率和減少數據抽取錯誤的目的。

為了實現上述目的，本發明提供了如下技術方案：

一種數據抽取方法，包括：

對獲取的源系統的數據抽取任務進行解析，并按照數據分區粒度生成與所述數據抽取任務對應的數據抽取列表；

根據所述數據抽取列表中的數據容量，確定對所述源系統的數據抽取方式；

若采用第一預設數據抽取方式進行數據抽取時，將每個所述數據分區的數據進行抽取，并生成第一數據文件，將所述第一數據文件保存至目標系統；

若采用第二預設數據抽取方式進行數據抽取時，對所述源系統進行數據抽取，并將抽取到的數據文件保存至所述目標系統。

優選地，其特征在于，所述對獲取的源系統的數據抽取任務進行解析，并按照數據分區粒度生成與所述數據抽取任務對應的數據抽取列表，包括：

對獲取的數據抽取任務進行解析，得到與所述數據抽取任務對應的配置信息；

根據所述配置信息對所述數據抽取任務進行分區，將每一個分區的數據抽取任務生成與所述分區對應的數據抽取子任務；

將各個數據抽取子任務生成數據抽取列表。

優選地，在將數據文件保存至所述目標系統之前，還包括：

判斷所述目標系統是否存在與所述數據文件對應的分區，若不存在，則在所述目標系統中添加與所述數據文件對應的分區；

若存在，則查找到所述目標系統中與所述數據文件對應的目標分區，并將所述目標分區內的數據進行清空。

優選地，所述根據所述數據抽取列表中的數據容量，確定對所述源系統的數據抽取方式，包括：

判斷所述數據抽取列表中的數據容量是否大于預設數據量閾值，如果是，則對所述源系統采用第一預設數據抽取方式進行數據抽取，反之，則采用第二預設數據抽取方式進行數據抽取；

所述第一數據抽取方式為DMP文件抽取方式，所述第二數據抽取方式為DBLINK數據抽取方式。