[發(fā)明專利]一種基于Informatica Powercenter的增量抽取方法與系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201510824319.0
• 申請(qǐng)日: 2015-11-24
• 公開（公告）號(hào): CN105512176B
• 公開（公告）日: 2019-07-09
• 發(fā)明（設(shè)計(jì)）人: 黃蓉;王華
• 申請(qǐng)（專利權(quán)）人: 北京中電普華信息技術(shù)有限公司;國(guó)網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司;國(guó)家電網(wǎng)公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

本發(fā)明公開了一種基于Informatica Powercenter的增量抽取方法，建立參數(shù)文件，指定所述參數(shù)文件的名稱和路徑；根據(jù)視圖與所述參數(shù)文件的映射建立生成參數(shù)文件的增量抽取線程；根據(jù)目標(biāo)增量抽取規(guī)則修改視圖，調(diào)度所述增量抽取線程的任務(wù)，由于視圖用于通過連接到預(yù)設(shè)資料庫(kù)獲取指定文件夾下所有增量抽取線程，當(dāng)進(jìn)行增量抽取的任務(wù)調(diào)度時(shí)，只需根據(jù)需要修改視圖，將時(shí)間戳通過參數(shù)配置實(shí)現(xiàn)，而參數(shù)是通過視圖中的sql抽取生成的，如果需要每天自動(dòng)生成，則sql使用數(shù)據(jù)庫(kù)的日期函數(shù)，如果需要固定某天，則將sql改為固定日期即可，可以靈活地根據(jù)需求進(jìn)行時(shí)間戳的增量抽取。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)分析領(lǐng)域，特別是涉及一種基于Informatica Powercenter的增量抽取方法與系統(tǒng)。

背景技術(shù)

Informatica PowerCenter是Informatica公司開發(fā)的世界級(jí)的企業(yè)數(shù)據(jù)集成平臺(tái)，也是業(yè)界領(lǐng)先的ETL工具。Informatica PowerCenter使用戶能夠方便地從異構(gòu)的已有系統(tǒng)和數(shù)據(jù)源中抽取數(shù)據(jù)，用來建立、部署、管理企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)，從而幫助企業(yè)做出快速、正確的決策。

ETL的抽取模式分為增量抽取和全量抽取，顧名思義，全量抽取即為每次抽取所需要的所有數(shù)據(jù)，這種抽取方式消耗的時(shí)間比較長(zhǎng)，并且存在重復(fù)抽取問題，因此一般只會(huì)定期執(zhí)行。比較常用的抽取模式是增量抽取，即為只抽取從上次抽取開始有變動(dòng)的數(shù)據(jù)。增量抽取的方式也有很多種，根據(jù)時(shí)間戳來進(jìn)行增量抽取是最常用的方式之一。

現(xiàn)有使用較多的技術(shù)有通過informatica的系統(tǒng)變量。根據(jù)篩選符合要求的系統(tǒng)時(shí)間變量對(duì)應(yīng)的時(shí)間戳字段實(shí)現(xiàn)增量抽取，但是改變篩選的要求時(shí)需要對(duì)每個(gè)任務(wù)分別進(jìn)行修改才可以實(shí)現(xiàn)增量抽取，靈活性較差。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的在于提供一種基于Informatica Powercenter的增量抽取方法與系統(tǒng)，可以靈活地根據(jù)需求進(jìn)行時(shí)間戳的增量抽取。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于Informatica Powercenter的增量抽取方法，包括：

建立參數(shù)文件，指定所述參數(shù)文件的名稱和路徑；

根據(jù)視圖與所述參數(shù)文件的映射建立生成參數(shù)文件的增量抽取線程；

根據(jù)目標(biāo)增量抽取規(guī)則修改視圖，調(diào)度所述增量抽取線程的任務(wù)。

優(yōu)選地，根據(jù)視圖與所述參數(shù)文件的映射建立生成參數(shù)文件的抽取線程 包括：

生成用于通過連接到預(yù)設(shè)資料庫(kù)獲取指定文件夾下所有增量抽取線程的視圖；

建立所述視圖與所述參數(shù)文件的映射；

根據(jù)所述參數(shù)文件的路徑建立所述增量抽取線程的任務(wù)；

在調(diào)度增量抽取的工作流程中加入?yún)?shù)的配置信息；

將生成參數(shù)文件的所述任務(wù)加入到所述調(diào)度增量抽取的工作流程的最前端。

優(yōu)選地，所述參數(shù)的配置信息包括：

參數(shù)文件的路徑和參數(shù)名稱。

本發(fā)明還提供了一種基于Informatica Powercenter的增量抽取系統(tǒng)，包括：

參數(shù)文件建立模塊，用于建立參數(shù)文件，指定所述參數(shù)文件的名稱和路徑；

增量抽取線程建立模塊，用于根據(jù)視圖與所述參數(shù)文件的映射建立生成參數(shù)文件的增量抽取線程；

增量抽取模塊，用于根據(jù)目標(biāo)增量抽取規(guī)則修改視圖，調(diào)度所述增量抽取線程的任務(wù)。

優(yōu)選地，所述增量抽取線程建立模塊包括：