[發(fā)明專利]一種基于NiFi的關(guān)系型數(shù)據(jù)庫增量數(shù)據(jù)的入庫方法

在審

• 申請?zhí)枺?/td>: 202010715426.0
• 申請日: 2020-07-22
• 公開（公告）號: CN111858632A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 李貴振;胡清;王建華
• 申請（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/28
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 馮春連

本發(fā)明公開一種基于NiFi的關(guān)系型數(shù)據(jù)庫增量數(shù)據(jù)的入庫方法，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，該入庫方法基于增設(shè)在關(guān)系型數(shù)據(jù)庫的處理組件，該處理組件用于判斷新增、更新或者刪除的增量數(shù)據(jù)，同時，該處理組件還用于支持新增、更新或者刪除的增量數(shù)據(jù)入庫，并支持設(shè)置忽略更新字段；在從源關(guān)系型數(shù)據(jù)庫獲取增量數(shù)據(jù)時，通過處理組件去目標(biāo)關(guān)系型數(shù)據(jù)庫中查詢該增量數(shù)據(jù)是否存在，并根據(jù)查詢結(jié)果，在目標(biāo)關(guān)系型數(shù)據(jù)庫中進(jìn)行更新、插入或刪除操作，完成增量數(shù)據(jù)的入庫。本方法可以實(shí)現(xiàn)一個關(guān)系型數(shù)據(jù)庫中增量數(shù)據(jù)到另一個關(guān)系型數(shù)據(jù)庫的同步，具有靈活多樣、可根據(jù)實(shí)際情況進(jìn)行自由擴(kuò)展的特點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體的說是一種基于NiFi的關(guān)系型數(shù)據(jù)庫增量數(shù)據(jù)的入庫方法。

背景技術(shù)

現(xiàn)在的社會是一個高速發(fā)展的社會，科技發(fā)達(dá)，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數(shù)據(jù)就是這個高科技時代的產(chǎn)物。大數(shù)據(jù)是如此重要，以至于其數(shù)據(jù)采集、儲存、搜索、共享、分析，乃至可視化地呈現(xiàn)，都成為了當(dāng)前重要的研究課題。而數(shù)據(jù)采集和入庫是一切大數(shù)據(jù)應(yīng)用分析的開始和前提。

關(guān)系型數(shù)據(jù)庫目前在各行各業(yè)中仍然占據(jù)很大的市場份額，例如Oracle等成熟的商業(yè)數(shù)據(jù)庫，由于其強(qiáng)大的性能和可靠性在政府、金融、電信等行業(yè)中占有率極高，MySQL等開源數(shù)據(jù)庫由于其開源、免費(fèi)、易用等特性，在互聯(lián)網(wǎng)企業(yè)中被廣泛應(yīng)用。進(jìn)行數(shù)據(jù)應(yīng)用分析時需要在這些關(guān)系型數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)的流轉(zhuǎn)匯聚。在進(jìn)行數(shù)據(jù)的增量同步時，源庫表的數(shù)據(jù)中往往會同時存在新增、更新或者刪除的場景，同時針對數(shù)據(jù)更新的場景，一般目標(biāo)庫表的某些字段是不允許再次被覆蓋更新的，例如status等字段。

發(fā)明內(nèi)容

本發(fā)明針對目前技術(shù)發(fā)展的需求和不足之處，提供一種基于NiFi的關(guān)系型數(shù)據(jù)庫增量數(shù)據(jù)的入庫方法。

本發(fā)明的一種基于NiFi的關(guān)系型數(shù)據(jù)庫增量數(shù)據(jù)的入庫方法，解決上述技術(shù)問題采用的技術(shù)方案如下：

一種基于NiFi的關(guān)系型數(shù)據(jù)庫增量數(shù)據(jù)的入庫方法，該入庫方法基于增設(shè)在關(guān)系型數(shù)據(jù)庫的處理組件，該處理組件用于判斷新增、更新或者刪除的增量數(shù)據(jù)，同時，該處理組件還用于支持新增、更新或者刪除的增量數(shù)據(jù)入庫，并支持設(shè)置忽略更新字段；在從源關(guān)系型數(shù)據(jù)庫獲取增量數(shù)據(jù)時，通過處理組件去目標(biāo)關(guān)系型數(shù)據(jù)庫中查詢該增量數(shù)據(jù)是否存在，并根據(jù)查詢結(jié)果，在目標(biāo)關(guān)系型數(shù)據(jù)庫中進(jìn)行更新、插入或刪除操作，完成增量數(shù)據(jù)的入庫。

進(jìn)一步的，該入庫方法的具體實(shí)現(xiàn)內(nèi)容包括：

步驟1、基于NiFi，在關(guān)系型數(shù)據(jù)庫中增設(shè)一個處理組件，該處理組件用于判斷新增、更新或者刪除的增量數(shù)據(jù)，同時，該處理組件還用于支持新增、更新或者刪除的增量數(shù)據(jù)入庫，并支持設(shè)置忽略更新字段；

步驟2、從源關(guān)系型數(shù)據(jù)庫中獲取增量數(shù)據(jù)；

步驟3、將獲取的增量數(shù)據(jù)傳送至目標(biāo)關(guān)系型數(shù)據(jù)庫，根據(jù)源關(guān)系型數(shù)據(jù)庫的處理組件設(shè)置的刪除標(biāo)識，目標(biāo)關(guān)系型數(shù)據(jù)庫的處理組件對該數(shù)據(jù)庫的對應(yīng)數(shù)據(jù)進(jìn)行同步刪除；

步驟4、隨后，目標(biāo)關(guān)系型數(shù)據(jù)庫的處理組件通過比對查詢該數(shù)據(jù)庫是否包含從源關(guān)系型數(shù)據(jù)庫獲取的增量數(shù)據(jù)，

若存在，則處理組件進(jìn)行更新操作，此時，還可以根據(jù)設(shè)置的忽略更新字段進(jìn)行忽略，

若不存在，則處理組件進(jìn)行插入操作；

步驟5、完成源關(guān)系型數(shù)據(jù)庫中增量數(shù)據(jù)到目標(biāo)關(guān)系型數(shù)據(jù)庫的入庫。

更進(jìn)一步的，步驟2中，增量數(shù)據(jù)的來源可以是MySQL、Oracle、SqlServer、postgreSQL任一關(guān)系型數(shù)據(jù)庫，也可以是關(guān)系型數(shù)據(jù)庫包含的不同格式的文件。

優(yōu)選的，通過時間戳字段從源關(guān)系型數(shù)據(jù)庫MySQL的庫表中獲取增量數(shù)據(jù)，或者，通過讀取源關(guān)系型數(shù)據(jù)庫MySQL的binlog日志獲取增量數(shù)據(jù)。