[發(fā)明專利]一種數(shù)據(jù)抽取方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810132705.7
• 申請(qǐng)日: 2018-02-09
• 公開（公告）號(hào): CN108228908B
• 公開（公告）日: 2021-11-12
• 發(fā)明（設(shè)計(jì)）人: 林明;歐陽小兵;戴麗瑪;于鴻鵬;陳宏亮;張丹;張素釗
• 申請(qǐng)（專利權(quán)）人: 中國(guó)銀行股份有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

1.一種數(shù)據(jù)抽取方法，其特征在于，包括：

對(duì)獲取的源系統(tǒng)的數(shù)據(jù)抽取任務(wù)進(jìn)行解析，并按照數(shù)據(jù)分區(qū)粒度生成與所述數(shù)據(jù)抽取任務(wù)對(duì)應(yīng)的數(shù)據(jù)抽取列表；

判斷所述數(shù)據(jù)抽取列表中的數(shù)據(jù)容量是否大于預(yù)設(shè)數(shù)據(jù)量閾值，如果是，則對(duì)所述源系統(tǒng)采用第一預(yù)設(shè)數(shù)據(jù)抽取方式進(jìn)行數(shù)據(jù)抽取，反之，則采用第二預(yù)設(shè)數(shù)據(jù)抽取方式進(jìn)行數(shù)據(jù)抽取；所述第一預(yù)設(shè)數(shù)據(jù)抽取方式為DMP文件抽取方式，所述第二預(yù)設(shè)數(shù)據(jù)抽取方式為DBLINK數(shù)據(jù)抽取方式；

若采用第一預(yù)設(shè)數(shù)據(jù)抽取方式進(jìn)行數(shù)據(jù)抽取時(shí)，將每個(gè)所述數(shù)據(jù)分區(qū)的數(shù)據(jù)進(jìn)行抽取，并生成第一數(shù)據(jù)文件，將所述第一數(shù)據(jù)文件保存至目標(biāo)系統(tǒng)；

若采用第二預(yù)設(shè)數(shù)據(jù)抽取方式進(jìn)行數(shù)據(jù)抽取時(shí)，對(duì)所述源系統(tǒng)進(jìn)行數(shù)據(jù)抽取，并將抽取到的數(shù)據(jù)文件保存至所述目標(biāo)系統(tǒng)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)獲取的源系統(tǒng)的數(shù)據(jù)抽取任務(wù)進(jìn)行解析，并按照數(shù)據(jù)分區(qū)粒度生成與所述數(shù)據(jù)抽取任務(wù)對(duì)應(yīng)的數(shù)據(jù)抽取列表，包括：

對(duì)獲取的數(shù)據(jù)抽取任務(wù)進(jìn)行解析，得到與所述數(shù)據(jù)抽取任務(wù)對(duì)應(yīng)的配置信息；

根據(jù)所述配置信息對(duì)所述數(shù)據(jù)抽取任務(wù)進(jìn)行分區(qū)，將每一個(gè)分區(qū)的數(shù)據(jù)抽取任務(wù)生成與所述分區(qū)對(duì)應(yīng)的數(shù)據(jù)抽取子任務(wù)；

將各個(gè)數(shù)據(jù)抽取子任務(wù)生成數(shù)據(jù)抽取列表。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將數(shù)據(jù)文件保存至所述目標(biāo)系統(tǒng)之前，還包括：

判斷所述目標(biāo)系統(tǒng)是否存在與所述數(shù)據(jù)文件對(duì)應(yīng)的分區(qū)，若不存在，則在所述目標(biāo)系統(tǒng)中添加與所述數(shù)據(jù)文件對(duì)應(yīng)的分區(qū)；

若存在，則查找到所述目標(biāo)系統(tǒng)中與所述數(shù)據(jù)文件對(duì)應(yīng)的目標(biāo)分區(qū)，并將所述目標(biāo)分區(qū)內(nèi)的數(shù)據(jù)進(jìn)行清空。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)將所述第一數(shù)據(jù)文件保存至目標(biāo)系統(tǒng)時(shí)，還包括：

通過預(yù)設(shè)的數(shù)據(jù)傳輸方式將所述第一數(shù)據(jù)文件按預(yù)設(shè)的并行度并行傳輸至所述目標(biāo)系統(tǒng)；

判斷所述目標(biāo)系統(tǒng)是否成功根據(jù)所述數(shù)據(jù)抽取列表并行獲取所述第一數(shù)據(jù)文件，如果是，則繼續(xù)上傳所述第一數(shù)據(jù)文件；如果否，則判斷所述第一數(shù)據(jù)文件是否存在錯(cuò)誤。

5.一種數(shù)據(jù)抽取裝置，其特征在于，包括：

生成模塊，用于對(duì)獲取的源系統(tǒng)的數(shù)據(jù)抽取任務(wù)進(jìn)行解析，并按照數(shù)據(jù)分區(qū)粒度生成與所述數(shù)據(jù)抽取任務(wù)對(duì)應(yīng)的數(shù)據(jù)抽取列表；

確定模塊，用于根據(jù)所述數(shù)據(jù)抽取列表中的數(shù)據(jù)容量，確定對(duì)所述源系統(tǒng)的數(shù)據(jù)抽取方式；

第一抽取模塊，用于若采用第一預(yù)設(shè)數(shù)據(jù)抽取方式進(jìn)行數(shù)據(jù)抽取時(shí)，將每個(gè)所述數(shù)據(jù)分區(qū)的數(shù)據(jù)進(jìn)行抽取，并生成第一數(shù)據(jù)文件，將所述第一數(shù)據(jù)文件保存至目標(biāo)系統(tǒng)；

第二抽取模塊，用于若采用第二預(yù)設(shè)數(shù)據(jù)抽取方式進(jìn)行數(shù)據(jù)抽取時(shí)，對(duì)所述源系統(tǒng)進(jìn)行數(shù)據(jù)抽取，并將抽取到的數(shù)據(jù)文件保存至所述目標(biāo)系統(tǒng)；

所述確定模塊包括：

容量判斷單元，用于判斷所述數(shù)據(jù)抽取列表中的數(shù)據(jù)容量是否大于預(yù)設(shè)數(shù)據(jù)量閾值，如果是，則對(duì)所述源系統(tǒng)采用第一預(yù)設(shè)數(shù)據(jù)抽取方式進(jìn)行數(shù)據(jù)抽取，反之，則采用第二預(yù)設(shè)數(shù)據(jù)抽取方式進(jìn)行數(shù)據(jù)抽取；

所述第一預(yù)設(shè)數(shù)據(jù)抽取方式為DMP文件方式，所述第二預(yù)設(shè)數(shù)據(jù)抽取方式為DBLINK數(shù)據(jù)方式。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述生成模塊包括：

解析單元，用于對(duì)獲取的數(shù)據(jù)抽取任務(wù)進(jìn)行解析，得到與所述數(shù)據(jù)抽取任務(wù)對(duì)應(yīng)的配置信息；

分區(qū)單元，用于根據(jù)所述配置信息對(duì)所述數(shù)據(jù)抽取任務(wù)進(jìn)行分區(qū)，將每一個(gè)分區(qū)的數(shù)據(jù)抽取任務(wù)生成與所述分區(qū)對(duì)應(yīng)的數(shù)據(jù)抽取子任務(wù)；

生成單元，用于將各個(gè)數(shù)據(jù)抽取子任務(wù)生成數(shù)據(jù)抽取列表。

7.根據(jù)權(quán)利要求5所述的裝置，在將數(shù)據(jù)文件保存至所述目標(biāo)系統(tǒng)之前，還包括：

判斷模塊，用于判斷所述目標(biāo)系統(tǒng)是否存在與所述數(shù)據(jù)文件對(duì)應(yīng)的分區(qū)，若不存在，則在所述目標(biāo)系統(tǒng)中添加與所述數(shù)據(jù)文件對(duì)應(yīng)的分區(qū)；

若存在，則查找到所述目標(biāo)系統(tǒng)中與所述數(shù)據(jù)文件對(duì)應(yīng)的目標(biāo)分區(qū)，并將所述目標(biāo)分區(qū)內(nèi)的數(shù)據(jù)進(jìn)行清空。

8.根據(jù)權(quán)利要求5所述的裝置，其特征在于，當(dāng)將所述第一數(shù)據(jù)文件保存至目標(biāo)系統(tǒng)時(shí)，還包括：

傳輸單元，用于通過預(yù)設(shè)的數(shù)據(jù)傳輸方式將所述第一數(shù)據(jù)文件按預(yù)設(shè)的并行度并行傳輸至所述目標(biāo)系統(tǒng)；

獲取判斷單元，用于判斷所述目標(biāo)系統(tǒng)是否成功根據(jù)所述數(shù)據(jù)抽取列表并行獲取所述第一數(shù)據(jù)文件，如果是，則繼續(xù)上傳所述第一數(shù)據(jù)文件；如果否，則判斷所述第一數(shù)據(jù)文件是否存在錯(cuò)誤。