[發明專利]一種基于多系統下可插拔式組件數據匯聚系統及匯聚方法

在審

• 申請號: 202010546939.3
• 申請日: 2020-06-16
• 公開（公告）號: CN111753007A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 鄧志東;劉旭生;孫林檀;李子乾;唐振營;楊自興;徐胤;楊睿
• 申請（專利權）人: 國家電網有限公司客戶服務中心
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F9/54
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于多系統下可插拔式組件數據匯聚系統及匯聚方法，所述方法通過數據匯聚系統的匯聚采集器，適配多數據源、多協議、多接口數據源的通用型歸集數據的方法，通過可熱插拔的匯聚模型器歸集目標數據源、采集的數據通過中間數據模型轉換層轉換成標準結構化數據，并將數據流存儲到消息中間件，再從消息中間件中調用數據流進行分析處理。本發明不需要通過在被采集業務系統中修改代碼和加入插件等方式歸集目標數據，對被采集的業務系統無感知，對采集系統無性能影響，無干擾，部署快速，且實施條件簡單，兼容多種操作系統和多種系統平臺。

技術領域

本發明涉及多種協議下多數據源的數據處理技術，涉及多系統下如何適配不同數據源，不同結構匯聚方法，具體涉及一種基于多系統下可插拔式組件數據匯聚系統及匯聚方法。

背景技術

當前在企業大數據分析應用或互聯網數據應用中對數據源的適配都是需要一對一定制化開發進行適配，耗費大量的時間和工作量，為了解決在企業、互聯網應用中多數據源下如何自動化適配接入運行數據的匯聚技術方法，尤其是對多業務系統的數據源進行數據歸集匯聚等，目前市場上通常是采用定制化開發針對不同業務系統進行對接和適配，定制化開發這種方式對數據需求方和數據接入方的人力、物力、時間影響很大，增加了被接入系統數據的時間風險和技術風險。

發明內容

發明目的：針對復雜環境解決中需要通過匯聚多業務系統下、不同協議的業務數據問題，本發明的第一目的是提供一種多系統下可插拔式組件數據匯聚系統。同時，本發明的第二目的是提供一種多系統下可插拔式組件數據匯聚方法。

為實現上述目的，本發明所提供的技術方案如下：

一種基于多系統下可插拔式組件數據采集系統，包括匯聚服務器、消息中間件、轉換處理器和消費處理器；

匯聚服務器，部署有可插拔的匯聚組件，用于適配不同系統、不同結構數據源，通過匯聚組件采集業務系統數據源系統的數據流，并將采集的數據流歸集到消息中間件；

消息中間件，用于存儲匯聚服務器采集的數據流和經過轉換處理器處理后結構化數據；

轉換處理器，基于數據源格式的通用匹配數據格式處理器，將源數據處理成結構化數據，格式為標準json數據；

消費處理器，基于從消息中間件中獲取結構化數據流，通過消費處理器進行實時調用消費并將數據流向到大數據實時庫。

進一步，所述匯聚服務器為云服務器或物理服務器，云服務器或物理服務器與被采集業務系統網絡互通，數據端口開放共享，且網絡協議中支持主流TCP協議。

更進一步，所述匯聚服務器、消息中間件和消費處理器均能兼容搭載兩種及其以上的操作系統的服務器設備，實現兩種及其以上不同操作系統下的數據匯聚，操作系統包括Windows操作系統、Unix操作系統、linux操作系統。

更進一步，所述消息中間件為kafka、配置數據庫為MySql、Oracle。

實施上述匯聚系統的一種基于多系統下可插拔式組件數據匯聚方法，所述方法包括如下步驟：

(1)匯聚系統組建：開放業務系統的數據協議接口，將匯聚服務器與被接入業務系統數據流進行接口適配，并將采集的數據流經轉換處理器進行數據轉換，形成結構化數據存儲到消息中間件，并調用消息中間件進行消息消費處理；

(2)數據匯聚處理：匯聚服務器通過Filebeat收集被采集業務系統的數據流，數據流經過數據轉換器進行過濾處理后傳送給消息中間件中的kafka或集群進行存儲，通過Logstash工具再到消息中間件中的kafka中獲取數據，傳給Elasticsearch工具進行數據分析處理，最后到kibana工具進行展示。