[發(fā)明專利]內(nèi)外網(wǎng)數(shù)據(jù)交換系統(tǒng)、方法、裝置、計(jì)算機(jī)設(shè)備和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010862959.1
• 申請日: 2020-08-25
• 公開（公告）號: CN112000741A
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 趙文猛;周華鋒;顧慧杰;許丹莉;朱文;梁彥杰
• 申請（專利權(quán)）人: 中國南方電網(wǎng)有限責(zé)任公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/54;H04L29/08
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 關(guān)志琨

本申請涉及一種內(nèi)外網(wǎng)數(shù)據(jù)交換系統(tǒng)、方法、裝置、計(jì)算機(jī)設(shè)備和存儲介質(zhì)。本申請能夠?qū)崿F(xiàn)在內(nèi)外網(wǎng)隔離的情況下內(nèi)外網(wǎng)數(shù)據(jù)庫數(shù)據(jù)快速同步。該系統(tǒng)包括：外網(wǎng)數(shù)據(jù)同步服務(wù)器、數(shù)據(jù)交換系統(tǒng)和內(nèi)網(wǎng)數(shù)據(jù)同步客戶端，其中，數(shù)據(jù)交換系統(tǒng)包括內(nèi)外網(wǎng)消息隊(duì)列、外網(wǎng)文件同步服務(wù)器、內(nèi)網(wǎng)文件同步服務(wù)器以及內(nèi)外網(wǎng)交換平臺，通過外網(wǎng)消息隊(duì)列存儲同步數(shù)據(jù)，并由外網(wǎng)文件同步服務(wù)器從外網(wǎng)消息隊(duì)列中讀取上述同步數(shù)據(jù)，經(jīng)內(nèi)外網(wǎng)交換平臺傳輸至內(nèi)網(wǎng)文件同步客戶端，再由內(nèi)網(wǎng)文件同步客戶端將上述同步數(shù)據(jù)發(fā)送至內(nèi)網(wǎng)消息隊(duì)列，內(nèi)網(wǎng)數(shù)據(jù)同步客戶端從內(nèi)網(wǎng)消息隊(duì)列中讀取上述同步數(shù)據(jù)后進(jìn)行入庫操作。

技術(shù)領(lǐng)域

本申請涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種內(nèi)外網(wǎng)數(shù)據(jù)交換系統(tǒng)、方法、裝置、計(jì)算機(jī)設(shè)備和存儲介質(zhì)。

背景技術(shù)

在業(yè)務(wù)系統(tǒng)架構(gòu)中，數(shù)據(jù)庫主要用于持久化數(shù)據(jù)、保存數(shù)據(jù)變更集、記錄狀態(tài)轉(zhuǎn)換關(guān)系，是現(xiàn)在業(yè)務(wù)系統(tǒng)中不可或缺的一部分。

企業(yè)多采用內(nèi)外網(wǎng)隔離的方式部署企業(yè)內(nèi)網(wǎng)，目的是為了保護(hù)企業(yè)內(nèi)部敏感數(shù)據(jù)，防止黑客攻擊。但由于企業(yè)經(jīng)營的需要，還是不可避免地需要與外網(wǎng)進(jìn)行信息交互。例如企業(yè)與外界的交易數(shù)據(jù)的傳輸需要在外網(wǎng)和內(nèi)網(wǎng)同時(shí)建立數(shù)據(jù)庫進(jìn)行交易數(shù)據(jù)的存儲和交互。

目前，業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)交換一般通過socket方式傳輸數(shù)據(jù)報(bào)文，且數(shù)據(jù)報(bào)文常以json格式和xml格式為主，但這種通過socket方式傳輸數(shù)據(jù)報(bào)文的方式需要網(wǎng)絡(luò)互通才能進(jìn)行數(shù)據(jù)交換，因此目前的數(shù)據(jù)傳輸方式不適合內(nèi)外網(wǎng)兩機(jī)房網(wǎng)絡(luò)隔離的業(yè)務(wù)系統(tǒng)。

發(fā)明內(nèi)容

基于此，有必要針對上述技術(shù)問題，提供一種內(nèi)外網(wǎng)數(shù)據(jù)交換系統(tǒng)、方法、裝置、計(jì)算機(jī)設(shè)備和存儲介質(zhì)。

一種內(nèi)外網(wǎng)數(shù)據(jù)交換系統(tǒng)，包括：外網(wǎng)數(shù)據(jù)同步服務(wù)器、數(shù)據(jù)交換系統(tǒng)以及內(nèi)網(wǎng)數(shù)據(jù)同步客戶端；所述數(shù)據(jù)交換系統(tǒng)包括外網(wǎng)消息隊(duì)列、外網(wǎng)文件同步服務(wù)器、內(nèi)外網(wǎng)交換平臺、內(nèi)網(wǎng)文件同步客戶端和內(nèi)網(wǎng)消息隊(duì)列；其中，

所述外網(wǎng)數(shù)據(jù)同步服務(wù)器，用于采集數(shù)據(jù)庫操作日志，根據(jù)所述數(shù)據(jù)庫操作日志生成預(yù)設(shè)格式的同步數(shù)據(jù)，將所述同步數(shù)據(jù)發(fā)送至所述外網(wǎng)消息隊(duì)列存儲；

所述數(shù)據(jù)交換系統(tǒng)，用于通過所述外網(wǎng)文件同步服務(wù)器從所述外網(wǎng)消息隊(duì)列讀取所述同步數(shù)據(jù)，并寫入同步數(shù)據(jù)文件，將所述同步數(shù)據(jù)文件上傳至所述內(nèi)外網(wǎng)交換平臺存儲；

通過所述內(nèi)網(wǎng)文件同步客戶端從所述內(nèi)外網(wǎng)交換平臺下載所述同步數(shù)據(jù)文件，讀取所述同步數(shù)據(jù)文件中的所述預(yù)設(shè)格式的同步數(shù)據(jù)，將所述同步數(shù)據(jù)發(fā)送至所述內(nèi)網(wǎng)消息隊(duì)列存儲；

所述內(nèi)網(wǎng)數(shù)據(jù)同步客戶端，用于從所述內(nèi)網(wǎng)消息隊(duì)列讀取所述同步數(shù)據(jù)，基于所述同步數(shù)據(jù)進(jìn)行同步數(shù)據(jù)入庫。

在其中一個(gè)實(shí)施例中，所述外網(wǎng)數(shù)據(jù)同步服務(wù)器，進(jìn)一步用于按照針對數(shù)據(jù)庫的預(yù)設(shè)表白名單、表字段白名單、表黑名單和表字段黑名單，對采集得到的所述數(shù)據(jù)庫操作日志進(jìn)行過濾，并根據(jù)過濾后的數(shù)據(jù)庫操作日志生成所述預(yù)設(shè)格式的同步數(shù)據(jù)。

在其中一個(gè)實(shí)施例中，所述內(nèi)網(wǎng)數(shù)據(jù)同步客戶端，進(jìn)一步用于從所述內(nèi)網(wǎng)消息隊(duì)列讀取所述同步數(shù)據(jù)，根據(jù)所述同步數(shù)據(jù)匹配對應(yīng)的數(shù)據(jù)庫并生成對應(yīng)的數(shù)據(jù)庫執(zhí)行語句，根據(jù)所述數(shù)據(jù)庫執(zhí)行語句執(zhí)行針對所述對應(yīng)的數(shù)據(jù)庫的數(shù)據(jù)入庫操作。

在其中一個(gè)實(shí)施例中，所述預(yù)設(shè)格式為json格式；所述同步數(shù)據(jù)文件為所述json格式的同步數(shù)據(jù)文件；所述外網(wǎng)消息隊(duì)列和所述內(nèi)網(wǎng)消息隊(duì)列基于kafka服務(wù)器構(gòu)建。

一種內(nèi)外網(wǎng)數(shù)據(jù)交換方法，應(yīng)用于數(shù)據(jù)交換系統(tǒng)，所述數(shù)據(jù)交換系統(tǒng)包括外網(wǎng)消息隊(duì)列、外網(wǎng)文件同步服務(wù)器、內(nèi)外網(wǎng)交換平臺、內(nèi)網(wǎng)文件同步客戶端和內(nèi)網(wǎng)消息隊(duì)列，所述方法包括：

通過外網(wǎng)消息隊(duì)列接收并存儲外網(wǎng)數(shù)據(jù)同步服務(wù)器發(fā)送的預(yù)設(shè)格式的同步數(shù)據(jù)；所述預(yù)設(shè)格式的同步數(shù)據(jù)是由外網(wǎng)數(shù)據(jù)同步服務(wù)器采集數(shù)據(jù)庫操作日志，并根據(jù)所述數(shù)據(jù)庫操作日志生成的預(yù)設(shè)格式的同步數(shù)據(jù)；