[發(fā)明專利]數(shù)據(jù)抽取裝置和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410750223.X
• 申請(qǐng)日: 2014-12-10
• 公開(kāi)（公告）號(hào): CN104361133B
• 公開(kāi)（公告）日: 2019-06-21
• 發(fā)明（設(shè)計(jì)）人: 姜亞健;胡沛蘭
• 申請(qǐng)（專利權(quán)）人: 用友網(wǎng)絡(luò)科技股份有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 北京中恒高博知識(shí)產(chǎn)權(quán)代理有限公司 11249
• 代理人: 劉洪京

本發(fā)明提供了一種數(shù)據(jù)抽取裝置，包括：開(kāi)關(guān)狀態(tài)載入單元，用于載入控制開(kāi)關(guān)在本次抽取數(shù)據(jù)時(shí)的開(kāi)關(guān)狀態(tài)，并保存控制開(kāi)關(guān)在上次抽取數(shù)據(jù)時(shí)的開(kāi)關(guān)狀態(tài)；數(shù)據(jù)抽取控制器，用于根據(jù)載入的開(kāi)關(guān)狀態(tài)，判斷本次抽取數(shù)據(jù)的類型是全量抽取類型還是增量抽取類型；當(dāng)本次抽取數(shù)據(jù)的類型是增量抽取類型時(shí)，分別計(jì)算需要抽取、篩選與歸檔指定的數(shù)據(jù)；數(shù)據(jù)抽取單元，用于根據(jù)計(jì)算得到的需要抽取、過(guò)濾和歸檔指定的數(shù)據(jù)，進(jìn)行數(shù)據(jù)抽取。本發(fā)明還提供了一種數(shù)據(jù)抽取方法。通過(guò)本發(fā)明的技術(shù)方案，可以在現(xiàn)有的數(shù)據(jù)抽取方式基礎(chǔ)上，充分利用單對(duì)象類型完成多對(duì)象類型的數(shù)據(jù)抽取，建立多對(duì)象類型參與的數(shù)據(jù)抽取的通用、統(tǒng)一抽取思路。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體地，涉及一種數(shù)據(jù)抽取裝置和一種數(shù)據(jù)抽取方法。

背景技術(shù)

目前大數(shù)據(jù)隨處可見(jiàn)，越來(lái)越多的企業(yè)開(kāi)始規(guī)劃數(shù)據(jù)倉(cāng)庫(kù)，通過(guò)數(shù)據(jù)挖掘和商業(yè)分析工具來(lái)協(xié)助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策。企業(yè)各個(gè)業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)通過(guò)ETL工具向數(shù)據(jù)倉(cāng)庫(kù)提供高質(zhì)量的數(shù)據(jù)。ETL包括數(shù)據(jù)的抽取，轉(zhuǎn)換和加載3個(gè)環(huán)節(jié)，數(shù)據(jù)抽取面向各種數(shù)據(jù)來(lái)源，比如異構(gòu)數(shù)據(jù)庫(kù)，文件等，如何從這些數(shù)據(jù)源正確穩(wěn)定高效的抽取數(shù)據(jù)是ETL設(shè)計(jì)過(guò)程中必須考慮的關(guān)鍵問(wèn)題之一。目前流行的抽取方法均存在一定的局限性。

1．全量抽取：每次將業(yè)務(wù)系統(tǒng)的所有數(shù)據(jù)全部通過(guò)ETL工具加載到數(shù)據(jù)倉(cāng)庫(kù)，抽取簡(jiǎn)單，但當(dāng)數(shù)據(jù)量越來(lái)越大時(shí)，這種方式存在性能瓶頸，導(dǎo)致不能實(shí)時(shí)更新數(shù)據(jù)。

2．基于觸發(fā)方式的推式增量抽取：數(shù)據(jù)抽取的性能較高，能實(shí)時(shí)更新數(shù)據(jù)，但要求在業(yè)務(wù)數(shù)據(jù)庫(kù)中建立觸發(fā)器或程序編碼推數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)，需要對(duì)業(yè)務(wù)系統(tǒng)或業(yè)務(wù)數(shù)據(jù)庫(kù)進(jìn)行調(diào)整，不但影響業(yè)務(wù)系統(tǒng)的穩(wěn)定和業(yè)務(wù)數(shù)據(jù)的安全性，同時(shí)對(duì)業(yè)務(wù)系統(tǒng)有一定的性能影響。

3．基于時(shí)間戳的增量抽取：和類似觸發(fā)器一樣，性能也比較好，過(guò)程相對(duì)清楚簡(jiǎn)單，但對(duì)業(yè)務(wù)系統(tǒng)強(qiáng)制要求有時(shí)間戳字段，同時(shí)，數(shù)據(jù)更新時(shí)修改時(shí)間戳字段，而且對(duì)于刪除的數(shù)據(jù)需要記錄在庫(kù)，不能徹底刪除，在數(shù)據(jù)準(zhǔn)確性上有一定的限制。

4．全表比對(duì)增量抽取：通過(guò)全表比對(duì)來(lái)確定數(shù)據(jù)的增刪改，性能較差。

5．?dāng)?shù)據(jù)庫(kù)日志對(duì)比：通過(guò)分析數(shù)據(jù)庫(kù)自身的日志來(lái)判斷變化的數(shù)據(jù)，受數(shù)據(jù)庫(kù)類型和版本的限制，不支持異構(gòu)數(shù)據(jù)庫(kù)。

因此，需要一種新的數(shù)據(jù)抽取技術(shù)，可以在現(xiàn)有的數(shù)據(jù)抽取方式基礎(chǔ)上，充分利用單對(duì)象類型完成多對(duì)象類型的數(shù)據(jù)抽取，建立多對(duì)象類型參與的數(shù)據(jù)抽取的通用、統(tǒng)一抽取思路。

發(fā)明內(nèi)容

本發(fā)明正是基于上述問(wèn)題，提出了一種新的數(shù)據(jù)抽取技術(shù)，可以在現(xiàn)有的數(shù)據(jù)抽取方式基礎(chǔ)上，充分利用單對(duì)象類型完成多對(duì)象類型的數(shù)據(jù)抽取，建立多對(duì)象類型參與的數(shù)據(jù)抽取的通用、統(tǒng)一抽取思路。

有鑒于此，本發(fā)明提出了一種數(shù)據(jù)抽取裝置，包括：開(kāi)關(guān)狀態(tài)載入單元，用于載入控制開(kāi)關(guān)在本次抽取數(shù)據(jù)時(shí)的開(kāi)關(guān)狀態(tài)，并保存控制開(kāi)關(guān)在上次抽取數(shù)據(jù)時(shí)的開(kāi)關(guān)狀態(tài)；數(shù)據(jù)抽取控制器，用于根據(jù)載入的開(kāi)關(guān)狀態(tài)，判斷本次抽取數(shù)據(jù)的類型是全量抽取類型還是增量抽取類型；當(dāng)本次抽取數(shù)據(jù)的類型是增量抽取類型時(shí)，分別計(jì)算需要抽取、篩選與歸檔指定的數(shù)據(jù)；數(shù)據(jù)抽取單元，用于根據(jù)計(jì)算得到的需要抽取、過(guò)濾和歸檔指定的數(shù)據(jù)，進(jìn)行數(shù)據(jù)抽取。在該技術(shù)方案中，可以在進(jìn)行數(shù)據(jù)抽取時(shí)根據(jù)數(shù)據(jù)開(kāi)關(guān)信息和業(yè)務(wù)日期來(lái)進(jìn)行增量抽取，有效規(guī)避了目前抽取方式的局限，而且數(shù)據(jù)倉(cāng)庫(kù)和業(yè)務(wù)數(shù)據(jù)庫(kù)獨(dú)立運(yùn)行，利于企業(yè)控制業(yè)務(wù)系統(tǒng)的穩(wěn)定和業(yè)務(wù)數(shù)據(jù)的安全性。

在上述技術(shù)方案中，優(yōu)選地，所述開(kāi)關(guān)狀態(tài)載入單元，具體包括：狀態(tài)載入模塊，用于載入控制開(kāi)關(guān)在本次抽取數(shù)據(jù)時(shí)的開(kāi)關(guān)狀態(tài)；狀態(tài)保存模塊，用于基于載入的控制開(kāi)關(guān)在本次抽取數(shù)據(jù)時(shí)的開(kāi)關(guān)狀態(tài)，調(diào)取并保存控制開(kāi)關(guān)在上次抽取數(shù)據(jù)時(shí)的開(kāi)關(guān)狀態(tài)。在該技術(shù)方案中，即使在業(yè)務(wù)系統(tǒng)存在物理刪除的情況下也能進(jìn)行增量抽取，滿足了增量抽取的數(shù)據(jù)完備性高，對(duì)源業(yè)務(wù)系統(tǒng)性能等影響小。