[發明專利]一種基于多系統下可插拔式組件數據匯聚系統及匯聚方法

在審

• 申請號: 202010546939.3
• 申請日: 2020-06-16
• 公開（公告）號: CN111753007A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 鄧志東;劉旭生;孫林檀;李子乾;唐振營;楊自興;徐胤;楊睿
• 申請（專利權）人: 國家電網有限公司客戶服務中心
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F9/54
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于多系統下可插拔式組件數據匯聚系統，其特征在于，包括匯聚服務器、消息中間件、轉換處理器和消費處理器；

匯聚服務器，部署有可插拔的匯聚組件，用于適配不同系統、不同結構數據源，通過匯聚組件采集業務系統數據源系統的數據流，并將采集的數據流歸集到消息中間件；

消息中間件，用于存儲匯聚服務器采集的數據流和經過轉換處理器處理后結構化數據；

轉換處理器，基于數據源格式的通用匹配數據格式處理器，將源數據處理成結構化數據，格式為標準json數據；

消費處理器，從消息中間件中獲取結構化數據流，通過消費處理器進行實時調用消費并將數據流向到大數據實時庫。

2.根據權利要求1所述的基于多系統下可插拔式組件數據匯聚系統，其特征在于，所述匯聚服務器為云服務器或物理服務器，云服務器或物理服務器與被采集服務器系統網絡互通，數據端口開放共享，且網絡協議中支持主流TCP協議。

3.根據權利要求1所述的基于多系統下可插拔式組件數據匯聚系統，其特征在于，所述匯聚服務器、消息中間件和消費處理器均能處理來自不同操作系統下的數據源，實現兩種及其以上操作系統下的數據匯聚，操作系統包括Windows操作系統、Unix操作系統、linux操作系統。

4.根據權利要求1所述的基于多系統下可插拔式組件數據匯聚系統，其特征在于，所述消息中間件為kafka，配置數據庫為MySql或Oracle。

5.一種基于多系統下可插拔式組件數據匯聚方法，其特征在于，包括如下步驟：

(1)匯聚系統組建：開放業務系統的數據協議接口，將匯聚服務器與被接入業務系統數據流進行接口適配，并將采集的數據流經轉換處理器進行數據轉換，形成結構化數據存儲到消息中間件，并調用消息中間件進行消息消費處理；

(2)數據匯聚處理：匯聚服務器通過Filebeat收集被采集業務系統的數據流，數據流經過數據轉換器進行過濾處理后傳送給消息中間件中的kafka或集群進行存儲，通過Logstash工具再到消息中間件中的kafka中獲取數據，傳給Elasticsearch工具進行數據分析處理，最后到kibana工具進行展示。

6.根據權利要求5所述的基于多系統下可插拔式組件數據匯聚方法，其特征在于，步驟(1)中形成結構化數據的處理方式如下：

基于Java語言調用SocketServer、RestfulAPI、JDBC不同協議數據流，并將不同結構數據經過統一結構處理器轉換封裝成標準的結構化數據對象，將數據對象封裝成統一結構化json數據，并對數據進行標簽化，然后將數據對象存儲至消息中間件。

7.根據權利要求5所述的基于多系統下可插拔式組件數據匯聚方法，其特征在于，步驟(1)所述的消息中間為kafka，利用ElasticSearch進行數據存儲，通過多進程及多線程方式對消息中間件中封裝好的數據對象進行調用。

8.根據權利要求5所述的基于多系統下可插拔式組件數據匯聚方法，其特征在于，步驟(2)中所述的Logstash在獲取消息中間件數據的時候包括對數據流進行拆分和重組處理，將處理后的數據對象存儲到Elastic Search中。