[發(fā)明專利]一種基于XML模板的對(duì)象數(shù)據(jù)清洗轉(zhuǎn)換方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110263358.3
• 申請(qǐng)日: 2021-03-18
• 公開(kāi)（公告）號(hào): CN112883022A
• 公開(kāi)（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 李奔;李耀;彭磊
• 申請(qǐng)（專利權(quán)）人: 武漢眾邦銀行股份有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/22;G06F16/84;G06F40/151
• 代理公司: 成都正煜知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51312
• 代理人: 李龍

本發(fā)明涉及信息技術(shù)技術(shù)領(lǐng)域，提供了一種基于XML模板的對(duì)象數(shù)據(jù)清洗轉(zhuǎn)換方法。目的在于解決硬編碼數(shù)據(jù)清洗、加工的問(wèn)題、編碼完成需要重啟服務(wù)的問(wèn)題，擴(kuò)展業(yè)務(wù)場(chǎng)景清洗，需要重復(fù)開(kāi)發(fā)代碼等問(wèn)題。主要方案包括獲取其他數(shù)據(jù)庫(kù)對(duì)表操作信息的json報(bào)文；通過(guò)XML規(guī)則模板的數(shù)據(jù)源過(guò)濾標(biāo)簽，對(duì)JSON報(bào)文進(jìn)行數(shù)據(jù)源過(guò)濾，篩選出需要清洗的待清洗數(shù)據(jù)通過(guò)XML規(guī)則模板數(shù)據(jù)清洗規(guī)則，對(duì)待清洗數(shù)據(jù)進(jìn)行清洗，得到待操作的數(shù)據(jù)信息；在待操作的數(shù)據(jù)信息中，選擇待操作表名和該表中一個(gè)字段作為XML源數(shù)據(jù)業(yè)務(wù)主鍵，并定義在XML規(guī)則模板中；將XML源數(shù)據(jù)業(yè)務(wù)主鍵與本地?cái)?shù)據(jù)庫(kù)的表及字段關(guān)聯(lián)，生成可以對(duì)本地?cái)?shù)據(jù)庫(kù)對(duì)應(yīng)的表進(jìn)行插入、刪除、更新、查詢操作的SQL語(yǔ)句。

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)技術(shù)領(lǐng)域，提供了一種基于XML模板的對(duì)象數(shù)據(jù)清洗轉(zhuǎn)換方法。

背景技術(shù)

在現(xiàn)在的軟件系統(tǒng)架構(gòu)中，對(duì)象轉(zhuǎn)換以及數(shù)據(jù)清洗是經(jīng)常遇到的問(wèn)題。現(xiàn)如今網(wǎng)絡(luò)異常發(fā)達(dá)，經(jīng)常會(huì)遇到跨系統(tǒng)、服務(wù)的接口調(diào)用，會(huì)存在將其它系統(tǒng)中的數(shù)據(jù)轉(zhuǎn)換存儲(chǔ)到本系統(tǒng)，以便本系統(tǒng)辦理業(yè)務(wù)交易。結(jié)合其它系統(tǒng)數(shù)據(jù)結(jié)構(gòu)的特異性，清洗為本系統(tǒng)的需求數(shù)據(jù)格式。我們可以采用硬編碼的方式進(jìn)行轉(zhuǎn)換，這種方式雖然可行，但是靈活性太差，在業(yè)務(wù)擴(kuò)展需求不斷變化的情況下，會(huì)產(chǎn)生太多的維護(hù)、開(kāi)發(fā)量，耗費(fèi)大量的人力、物理成本，這種代價(jià)在網(wǎng)絡(luò)飛速發(fā)達(dá)的互聯(lián)網(wǎng)金融行業(yè)無(wú)法忍受，所以開(kāi)發(fā)了這個(gè)數(shù)據(jù)清洗轉(zhuǎn)換方法，針對(duì)不同的數(shù)據(jù)庫(kù)，不同的表結(jié)構(gòu)、表字段，清洗為理想的字段屬性。

基于XML模板的模板的對(duì)象數(shù)據(jù)清洗轉(zhuǎn)換方法，可以通過(guò)配置化清洗報(bào)文請(qǐng)求數(shù)據(jù)，解決了硬編碼數(shù)據(jù)清洗、加工的問(wèn)題、編碼完成需要重啟服務(wù)的問(wèn)題，以及擴(kuò)展業(yè)務(wù)場(chǎng)景清洗，需要重復(fù)開(kāi)發(fā)代碼等問(wèn)題。靈活性大大提升、業(yè)務(wù)擴(kuò)展簡(jiǎn)單、維護(hù)運(yùn)營(yíng)成本大大降低。

發(fā)明內(nèi)容

本發(fā)明的目的在于解決硬編碼數(shù)據(jù)清洗、加工的問(wèn)題、編碼完成需要重啟服務(wù)的問(wèn)題以及擴(kuò)展清洗業(yè)務(wù)場(chǎng)景，需要重復(fù)開(kāi)發(fā)代碼等問(wèn)題。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用以下技術(shù)手段：

一種基于XML模板的對(duì)象數(shù)據(jù)清洗轉(zhuǎn)換方法，包括以下步驟：

步驟1、通過(guò)kafka獲取數(shù)據(jù)總線的包含了其他數(shù)據(jù)庫(kù)對(duì)表操作信息的json報(bào)文；

步驟2、通過(guò)XML規(guī)則模板的數(shù)據(jù)源過(guò)濾標(biāo)簽，對(duì)JSON報(bào)文進(jìn)行數(shù)據(jù)源過(guò)濾，篩選出需要清洗的待清洗數(shù)據(jù)，待清洗數(shù)據(jù)包含了表名和字段信息；

步驟3、通過(guò)XML規(guī)則模板數(shù)據(jù)清洗規(guī)則，對(duì)待清洗數(shù)據(jù)進(jìn)行清洗，得到待操作的數(shù)據(jù)信息；

步驟4、在待操作的數(shù)據(jù)信息中，選擇待操作表名和該表中一個(gè)或多個(gè)字段作為XML源數(shù)據(jù)業(yè)務(wù)主鍵，并定義在XML規(guī)則模板中；

步驟5、將XML源數(shù)據(jù)業(yè)務(wù)主鍵與本地?cái)?shù)據(jù)庫(kù)的表及字段關(guān)聯(lián)，生成可以對(duì)本地?cái)?shù)據(jù)庫(kù)對(duì)應(yīng)的表進(jìn)行插入、刪除、更新、查詢操作的SQL語(yǔ)句。

上述技術(shù)方案中，數(shù)據(jù)清洗規(guī)則包括：

簡(jiǎn)單清洗規(guī)則：解析接收到的json報(bào)文，并對(duì)指定的字段復(fù)制到對(duì)應(yīng)的值；

復(fù)雜清洗規(guī)則：解析接收到的json報(bào)文，對(duì)指定字段做數(shù)學(xué)運(yùn)算、類型轉(zhuǎn)換或者邏輯處理后得到對(duì)應(yīng)的值。

自定義清洗規(guī)則：解析接收到的json報(bào)文，屬性擴(kuò)展自定義函數(shù)方法，并得到對(duì)應(yīng)的值。

上述技術(shù)方案中，所述簡(jiǎn)單清洗規(guī)則如下：

聲明簡(jiǎn)單映射關(guān)系simple標(biāo)簽，包含映射描述，用于備注當(dāng)前簡(jiǎn)單映射關(guān)系的desc的屬性；

聲明請(qǐng)求參數(shù)表中字段映射的結(jié)果表屬性值relation，包含屬性：

col：包含聲明清洗目標(biāo)表字段；

relation值：聲明請(qǐng)求來(lái)源表字段。