[發(fā)明專利]基于可視化配置的通用的數(shù)據(jù)對接系統(tǒng)、方法及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202111165385.3
• 申請日: 2021-09-30
• 公開（公告）號: CN114020817A
• 公開（公告）日: 2022-02-08
• 發(fā)明（設(shè)計）人: 袁浩;苗功勛;崔新安;李言非;李本學(xué)
• 申請（專利權(quán)）人: 中孚安全技術(shù)有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 祖之強(qiáng)

本發(fā)明提供了一種基于可視化配置的通用的數(shù)據(jù)對接系統(tǒng)、方法及電子設(shè)備，所述系統(tǒng)包括：數(shù)據(jù)抽取模塊、數(shù)據(jù)轉(zhuǎn)換模塊、數(shù)據(jù)推送模塊以及可視化配置與控制模塊；可視化配置與控制模塊，被配置為：獲取用戶界面配置的參數(shù)，對參數(shù)進(jìn)行腳本處理，將數(shù)據(jù)抽取策略下發(fā)給數(shù)據(jù)抽取模塊，將數(shù)據(jù)轉(zhuǎn)換策略下發(fā)給數(shù)據(jù)轉(zhuǎn)換模塊，將數(shù)據(jù)推送策略下發(fā)給數(shù)據(jù)推送模塊；數(shù)據(jù)抽取模塊、數(shù)據(jù)轉(zhuǎn)換模塊和數(shù)據(jù)推送模塊根據(jù)接收到的策略，依次完成不同業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)抽取、轉(zhuǎn)換和推送；本發(fā)明通過提供可視化的配置與控制模塊，將數(shù)據(jù)抽取、轉(zhuǎn)換、推送的技術(shù)參數(shù)轉(zhuǎn)換為腳本化的策略并下發(fā)給數(shù)據(jù)抽取、轉(zhuǎn)換和推送模塊，實現(xiàn)了數(shù)據(jù)的自動化對接。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種基于可視化配置的通用的數(shù)據(jù)對接系統(tǒng)、方法及電子設(shè)備。

背景技術(shù)

本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)，并不必然構(gòu)成現(xiàn)有技術(shù)。

隨著信息化系統(tǒng)的普及，各種信息系統(tǒng)在同一企業(yè)內(nèi)部逐漸部署，為企業(yè)發(fā)展提供了有利的支持。

但是，發(fā)明人發(fā)現(xiàn)，隨著各種信息系統(tǒng)的使用，系統(tǒng)之間數(shù)據(jù)的交換越來越多，目前的數(shù)據(jù)對接方式是在系統(tǒng)間相互提供數(shù)據(jù)接口，存在對接過程定制化開發(fā)、過程復(fù)雜以及開發(fā)周期長的弊端。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于可視化配置的通用的數(shù)據(jù)對接系統(tǒng)、方法及電子設(shè)備，通過提供可視化的配置與控制模塊，將數(shù)據(jù)抽取、轉(zhuǎn)換和推送的技術(shù)參數(shù)轉(zhuǎn)換為腳本化的策略，下發(fā)給數(shù)據(jù)抽取模塊、數(shù)據(jù)轉(zhuǎn)換模塊和數(shù)據(jù)推送模塊，克服了不同異構(gòu)系統(tǒng)間數(shù)據(jù)對接的障礙，實現(xiàn)了數(shù)據(jù)的自動化對接。

為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

本發(fā)明第一方面提供了一種基于可視化配置的通用的數(shù)據(jù)對接系統(tǒng)。

一種基于可視化配置的通用的數(shù)據(jù)對接系統(tǒng)，包括：數(shù)據(jù)抽取模塊、數(shù)據(jù)轉(zhuǎn)換模塊、數(shù)據(jù)推送模塊以及可視化配置與控制模塊；

可視化配置與控制模塊，被配置為：獲取用戶界面配置的參數(shù)，對參數(shù)進(jìn)行腳本處理，將數(shù)據(jù)抽取策略下發(fā)給數(shù)據(jù)抽取模塊，將數(shù)據(jù)轉(zhuǎn)換策略下發(fā)給數(shù)據(jù)轉(zhuǎn)換模塊，將數(shù)據(jù)推送策略下發(fā)給數(shù)據(jù)推送模塊；

數(shù)據(jù)抽取模塊、數(shù)據(jù)轉(zhuǎn)換模塊和數(shù)據(jù)推送模塊根據(jù)接收到的策略，依次完成不同業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)抽取、轉(zhuǎn)換和推送。

進(jìn)一步的，數(shù)據(jù)轉(zhuǎn)換模塊，包括依次設(shè)置的轉(zhuǎn)換前暫存區(qū)、動態(tài)調(diào)整單元、智能脫敏單元和轉(zhuǎn)換后暫存區(qū)，轉(zhuǎn)換前暫存區(qū)用于暫存數(shù)據(jù)抽取模塊發(fā)來的抽取數(shù)據(jù)，轉(zhuǎn)換后暫存區(qū)用于暫存數(shù)據(jù)轉(zhuǎn)換后的待推送數(shù)據(jù)。

更進(jìn)一步的，動態(tài)調(diào)整單元根據(jù)數(shù)據(jù)轉(zhuǎn)換策略，根據(jù)各個業(yè)務(wù)系統(tǒng)的需求，在數(shù)據(jù)同步過程中進(jìn)行數(shù)據(jù)處理順序的動態(tài)調(diào)整。

更進(jìn)一步的，智能脫敏單元根據(jù)數(shù)據(jù)轉(zhuǎn)換策略，根據(jù)依據(jù)敏感信息規(guī)則庫和關(guān)系型數(shù)據(jù)，針對不同的數(shù)據(jù)進(jìn)行脫敏處理，敏感數(shù)據(jù)同步到第三方系統(tǒng)存儲。

進(jìn)一步的，數(shù)據(jù)轉(zhuǎn)換模塊依據(jù)數(shù)據(jù)轉(zhuǎn)換策略，將數(shù)據(jù)暫存區(qū)的數(shù)據(jù)取出，先經(jīng)過動態(tài)調(diào)整與智能脫敏處理；

對數(shù)據(jù)進(jìn)行HASH計算，與上一次數(shù)據(jù)HASH值比較，當(dāng)數(shù)據(jù)不一致時，進(jìn)行轉(zhuǎn)換處理，將本地數(shù)據(jù)更新標(biāo)識文件設(shè)置為TRUE，處理后的數(shù)據(jù)存入轉(zhuǎn)換后暫存區(qū)。

更進(jìn)一步的，數(shù)據(jù)推送模塊依據(jù)數(shù)據(jù)推送策略，定時讀取本地數(shù)據(jù)更新標(biāo)識文件內(nèi)容，當(dāng)有更新時，從數(shù)據(jù)轉(zhuǎn)換后暫存區(qū)獲取數(shù)據(jù)，將數(shù)據(jù)推送到外部數(shù)據(jù)業(yè)務(wù)系統(tǒng)。

進(jìn)一步的，數(shù)據(jù)抽取模塊依據(jù)數(shù)據(jù)抽取策略，通過RESTFUL API、數(shù)據(jù)庫和WEBSOCKET三種不同的形式從外部數(shù)據(jù)業(yè)務(wù)系統(tǒng)直接獲取需要的數(shù)據(jù)，將獲取的數(shù)據(jù)存入數(shù)據(jù)暫存區(qū)。

本發(fā)明第二方面提供了一種基于可視化配置的通用的數(shù)據(jù)對接方法。