[發(fā)明專利]一種基于多系統(tǒng)下可插拔式組件數(shù)據(jù)匯聚系統(tǒng)及匯聚方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010546939.3
• 申請(qǐng)日: 2020-06-16
• 公開(kāi)（公告）號(hào): CN111753007A
• 公開(kāi)（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 鄧志東;劉旭生;孫林檀;李子乾;唐振營(yíng);楊自興;徐胤;楊睿
• 申請(qǐng)（專利權(quán)）人: 國(guó)家電網(wǎng)有限公司客戶服務(wù)中心
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F9/54
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

本發(fā)明公開(kāi)了一種基于多系統(tǒng)下可插拔式組件數(shù)據(jù)匯聚系統(tǒng)及匯聚方法，所述方法通過(guò)數(shù)據(jù)匯聚系統(tǒng)的匯聚采集器，適配多數(shù)據(jù)源、多協(xié)議、多接口數(shù)據(jù)源的通用型歸集數(shù)據(jù)的方法，通過(guò)可熱插拔的匯聚模型器歸集目標(biāo)數(shù)據(jù)源、采集的數(shù)據(jù)通過(guò)中間數(shù)據(jù)模型轉(zhuǎn)換層轉(zhuǎn)換成標(biāo)準(zhǔn)結(jié)構(gòu)化數(shù)據(jù)，并將數(shù)據(jù)流存儲(chǔ)到消息中間件，再?gòu)南⒅虚g件中調(diào)用數(shù)據(jù)流進(jìn)行分析處理。本發(fā)明不需要通過(guò)在被采集業(yè)務(wù)系統(tǒng)中修改代碼和加入插件等方式歸集目標(biāo)數(shù)據(jù)，對(duì)被采集的業(yè)務(wù)系統(tǒng)無(wú)感知，對(duì)采集系統(tǒng)無(wú)性能影響，無(wú)干擾，部署快速，且實(shí)施條件簡(jiǎn)單，兼容多種操作系統(tǒng)和多種系統(tǒng)平臺(tái)。

技術(shù)領(lǐng)域

本發(fā)明涉及多種協(xié)議下多數(shù)據(jù)源的數(shù)據(jù)處理技術(shù)，涉及多系統(tǒng)下如何適配不同數(shù)據(jù)源，不同結(jié)構(gòu)匯聚方法，具體涉及一種基于多系統(tǒng)下可插拔式組件數(shù)據(jù)匯聚系統(tǒng)及匯聚方法。

背景技術(shù)

當(dāng)前在企業(yè)大數(shù)據(jù)分析應(yīng)用或互聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用中對(duì)數(shù)據(jù)源的適配都是需要一對(duì)一定制化開(kāi)發(fā)進(jìn)行適配，耗費(fèi)大量的時(shí)間和工作量，為了解決在企業(yè)、互聯(lián)網(wǎng)應(yīng)用中多數(shù)據(jù)源下如何自動(dòng)化適配接入運(yùn)行數(shù)據(jù)的匯聚技術(shù)方法，尤其是對(duì)多業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源進(jìn)行數(shù)據(jù)歸集匯聚等，目前市場(chǎng)上通常是采用定制化開(kāi)發(fā)針對(duì)不同業(yè)務(wù)系統(tǒng)進(jìn)行對(duì)接和適配，定制化開(kāi)發(fā)這種方式對(duì)數(shù)據(jù)需求方和數(shù)據(jù)接入方的人力、物力、時(shí)間影響很大，增加了被接入系統(tǒng)數(shù)據(jù)的時(shí)間風(fēng)險(xiǎn)和技術(shù)風(fēng)險(xiǎn)。

發(fā)明內(nèi)容

發(fā)明目的：針對(duì)復(fù)雜環(huán)境解決中需要通過(guò)匯聚多業(yè)務(wù)系統(tǒng)下、不同協(xié)議的業(yè)務(wù)數(shù)據(jù)問(wèn)題，本發(fā)明的第一目的是提供一種多系統(tǒng)下可插拔式組件數(shù)據(jù)匯聚系統(tǒng)。同時(shí)，本發(fā)明的第二目的是提供一種多系統(tǒng)下可插拔式組件數(shù)據(jù)匯聚方法。

為實(shí)現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案如下：

一種基于多系統(tǒng)下可插拔式組件數(shù)據(jù)采集系統(tǒng)，包括匯聚服務(wù)器、消息中間件、轉(zhuǎn)換處理器和消費(fèi)處理器；

匯聚服務(wù)器，部署有可插拔的匯聚組件，用于適配不同系統(tǒng)、不同結(jié)構(gòu)數(shù)據(jù)源，通過(guò)匯聚組件采集業(yè)務(wù)系統(tǒng)數(shù)據(jù)源系統(tǒng)的數(shù)據(jù)流，并將采集的數(shù)據(jù)流歸集到消息中間件；

消息中間件，用于存儲(chǔ)匯聚服務(wù)器采集的數(shù)據(jù)流和經(jīng)過(guò)轉(zhuǎn)換處理器處理后結(jié)構(gòu)化數(shù)據(jù)；

轉(zhuǎn)換處理器，基于數(shù)據(jù)源格式的通用匹配數(shù)據(jù)格式處理器，將源數(shù)據(jù)處理成結(jié)構(gòu)化數(shù)據(jù)，格式為標(biāo)準(zhǔn)json數(shù)據(jù)；

消費(fèi)處理器，基于從消息中間件中獲取結(jié)構(gòu)化數(shù)據(jù)流，通過(guò)消費(fèi)處理器進(jìn)行實(shí)時(shí)調(diào)用消費(fèi)并將數(shù)據(jù)流向到大數(shù)據(jù)實(shí)時(shí)庫(kù)。

進(jìn)一步，所述匯聚服務(wù)器為云服務(wù)器或物理服務(wù)器，云服務(wù)器或物理服務(wù)器與被采集業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)互通，數(shù)據(jù)端口開(kāi)放共享，且網(wǎng)絡(luò)協(xié)議中支持主流TCP協(xié)議。

更進(jìn)一步，所述匯聚服務(wù)器、消息中間件和消費(fèi)處理器均能兼容搭載兩種及其以上的操作系統(tǒng)的服務(wù)器設(shè)備，實(shí)現(xiàn)兩種及其以上不同操作系統(tǒng)下的數(shù)據(jù)匯聚，操作系統(tǒng)包括Windows操作系統(tǒng)、Unix操作系統(tǒng)、linux操作系統(tǒng)。

更進(jìn)一步，所述消息中間件為kafka、配置數(shù)據(jù)庫(kù)為MySql、Oracle。

實(shí)施上述匯聚系統(tǒng)的一種基于多系統(tǒng)下可插拔式組件數(shù)據(jù)匯聚方法，所述方法包括如下步驟：

(1)匯聚系統(tǒng)組建：開(kāi)放業(yè)務(wù)系統(tǒng)的數(shù)據(jù)協(xié)議接口，將匯聚服務(wù)器與被接入業(yè)務(wù)系統(tǒng)數(shù)據(jù)流進(jìn)行接口適配，并將采集的數(shù)據(jù)流經(jīng)轉(zhuǎn)換處理器進(jìn)行數(shù)據(jù)轉(zhuǎn)換，形成結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)到消息中間件，并調(diào)用消息中間件進(jìn)行消息消費(fèi)處理；

(2)數(shù)據(jù)匯聚處理：匯聚服務(wù)器通過(guò)Filebeat收集被采集業(yè)務(wù)系統(tǒng)的數(shù)據(jù)流，數(shù)據(jù)流經(jīng)過(guò)數(shù)據(jù)轉(zhuǎn)換器進(jìn)行過(guò)濾處理后傳送給消息中間件中的kafka或集群進(jìn)行存儲(chǔ)，通過(guò)Logstash工具再到消息中間件中的kafka中獲取數(shù)據(jù)，傳給Elasticsearch工具進(jìn)行數(shù)據(jù)分析處理，最后到kibana工具進(jìn)行展示。