[發(fā)明專利]一種支持大數(shù)據(jù)量的數(shù)據(jù)傳輸方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011093235.1
• 申請(qǐng)日: 2020-10-12
• 公開(kāi)（公告）號(hào): CN112235398A
• 公開(kāi)（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 吳志雄;甘俊奇;黃毓斌
• 申請(qǐng)（專利權(quán)）人: 南威軟件股份有限公司;福建威盾科技集團(tuán)有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

本發(fā)明提供了一種支持大數(shù)據(jù)量的數(shù)據(jù)傳輸方法，包括：步驟S1、將需要的傳輸節(jié)點(diǎn)安裝節(jié)點(diǎn)程序后注冊(cè)到總控平臺(tái)；步驟S2、對(duì)節(jié)點(diǎn)進(jìn)行審批并創(chuàng)建傳輸通道；步驟S3、根據(jù)業(yè)務(wù)需求對(duì)傳輸通道進(jìn)行配置，所述傳輸通道包括路由策略和傳輸類型；步驟S4、調(diào)用api?gateway接口將需要傳輸?shù)臄?shù)據(jù)傳遞到api?gateway接口中；步驟S5、傳輸節(jié)點(diǎn)接收到api?gateway接口的數(shù)據(jù)后進(jìn)行數(shù)據(jù)校驗(yàn)，并將數(shù)據(jù)傳輸?shù)较⒅虚g件，根據(jù)路由策略進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)與上傳。本發(fā)明的優(yōu)點(diǎn)在于：實(shí)現(xiàn)跨業(yè)務(wù)系統(tǒng)的大數(shù)據(jù)量傳輸，同時(shí)保證數(shù)據(jù)的一致性與及時(shí)性。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)傳輸方法，特別涉及一種支持大數(shù)據(jù)量的數(shù)據(jù)傳輸方法。

背景技術(shù)

目前大數(shù)據(jù)環(huán)境缺乏統(tǒng)一的數(shù)據(jù)傳輸管理體系，沒(méi)有一種通用的大數(shù)據(jù)傳輸方案，現(xiàn)有的不同網(wǎng)絡(luò)間、內(nèi)部不同業(yè)務(wù)系統(tǒng)間、內(nèi)部與外單位不同業(yè)務(wù)系統(tǒng)間均設(shè)置有各自的數(shù)據(jù)傳輸方式，不能在大數(shù)據(jù)環(huán)境下實(shí)現(xiàn)高效的跨系統(tǒng)間調(diào)用，且各系統(tǒng)和平臺(tái)間還存在重復(fù)建設(shè)的問(wèn)題。

因此，如何提供一種支持大數(shù)據(jù)量的數(shù)據(jù)傳輸方法，在日益增長(zhǎng)的數(shù)據(jù)傳輸活動(dòng)中提高數(shù)據(jù)庫(kù)間數(shù)據(jù)的一致性與及時(shí)性，成為一個(gè)亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題，在于提供一種支持大數(shù)據(jù)量的數(shù)據(jù)傳輸方法，實(shí)現(xiàn)跨業(yè)務(wù)系統(tǒng)的大數(shù)據(jù)量傳輸，同時(shí)保證數(shù)據(jù)的一致性與及時(shí)性。

本發(fā)明提供了一種支持大數(shù)據(jù)量的數(shù)據(jù)傳輸方法，包括如下步驟：

步驟S1、將需要的傳輸節(jié)點(diǎn)安裝節(jié)點(diǎn)程序后注冊(cè)到總控平臺(tái)；

步驟S2、對(duì)節(jié)點(diǎn)進(jìn)行審批并創(chuàng)建傳輸通道；

步驟S3、根據(jù)業(yè)務(wù)需求對(duì)傳輸通道進(jìn)行配置，所述傳輸通道包括路由策略和傳輸類型；

步驟S4、調(diào)用api-gateway接口將需要傳輸?shù)臄?shù)據(jù)傳遞到api-gateway接口中；

步驟S5、傳輸節(jié)點(diǎn)接收到api-gateway接口的數(shù)據(jù)后進(jìn)行數(shù)據(jù)校驗(yàn)，并將數(shù)據(jù)傳輸?shù)较⒅虚g件，根據(jù)路由策略進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)與上傳。

進(jìn)一步的，所述傳輸類型包括kafka和mq，所述消息中間件包括kafka和ActiveMQ。

進(jìn)一步的，所述傳輸節(jié)點(diǎn)分布在不同的業(yè)務(wù)系統(tǒng)中。

進(jìn)一步的，所述數(shù)據(jù)校驗(yàn)包括過(guò)濾得到需要的數(shù)據(jù)。

進(jìn)一步的，所述方法還提供聯(lián)網(wǎng)報(bào)文的配置，包括字符串報(bào)文、二進(jìn)制流、XML格式報(bào)文和文件。

本發(fā)明的優(yōu)點(diǎn)在于：

1、通過(guò)傳輸節(jié)點(diǎn)與傳輸通道的配置以及將Kafka、ActiveMQ作為傳輸組件(消息中間件)，在采用kafka傳輸方式的傳遞的過(guò)程中采用json結(jié)構(gòu)進(jìn)行數(shù)據(jù)交換，最終將目標(biāo)結(jié)構(gòu)與數(shù)據(jù)(即最終需要的數(shù)據(jù)結(jié)構(gòu)和對(duì)應(yīng)的數(shù)據(jù))寫到目標(biāo)地址，最大程度保障數(shù)據(jù)傳輸過(guò)程的數(shù)據(jù)一致性和及時(shí)性；

2、通過(guò)將不同的傳輸節(jié)點(diǎn)統(tǒng)一注冊(cè)到總控平臺(tái)，保證擴(kuò)展的便捷性和兼容性；

3、結(jié)合api-gateway接口調(diào)用數(shù)據(jù)，實(shí)現(xiàn)同側(cè)網(wǎng)域不同邏輯地域間服務(wù)器的逐級(jí)連接和數(shù)據(jù)傳遞，以及基于通道進(jìn)行跨網(wǎng)絡(luò)服務(wù)器間的“無(wú)縫”數(shù)據(jù)分發(fā)；

4、提供多種接收通知消息的機(jī)制，支持提供源數(shù)據(jù)端和目標(biāo)數(shù)據(jù)端之間多種通訊方式，如會(huì)話、廣播通知、管道、發(fā)布/訂閱等，滿足不同的應(yīng)用場(chǎng)景需求。

5、在數(shù)據(jù)傳輸過(guò)程中增加了總控平臺(tái)對(duì)節(jié)點(diǎn)的授權(quán)認(rèn)證(認(rèn)證由超級(jí)管理員進(jìn)行操作)以及傳輸數(shù)據(jù)的校驗(yàn)功能，同時(shí)兼具保密和保護(hù)作用；

6、還可通過(guò)數(shù)據(jù)上傳平臺(tái)展示，實(shí)現(xiàn)全流程的日志跟蹤，實(shí)現(xiàn)了問(wèn)題數(shù)據(jù)流向追溯。

附圖說(shuō)明