[發明專利]一種基于多協議的異構數據收集及檢索系統

在審

• 申請號: 202111485879.X
• 申請日: 2021-12-07
• 公開（公告）號: CN114238388A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 黃勇發;范祥文;應仲文
• 申請（專利權）人: 南京熊貓電子股份有限公司;南京熊貓電子裝備有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/215;H04L69/18;H04L69/22
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于多協議的異構數據收集與檢索系統，包括有數據采集前端代理模塊、數據協議解析模塊、數據存儲模塊、數據清洗模塊、數據服務模塊和數據業務模塊，充分利用通信層不同協議轉換技術、關系型和非關系型數據存儲技術、數據建模技術來實現不同協議的數據收集治理并快速檢索的方法，可以有效的避免數據源頭多協議、數據資源碎片化以及數據檢索效率低這些問題，還可以有效地避免數據存儲資源龐大以及存儲資源浪費的問題。

技術領域

本發明涉及工業大數據技術領域，特別涉及一種基于多協議的異構數據收集及檢索系統。

背景技術

社會經濟的快速發展，信息化和工業化的技術不斷發展創新，智能制造的理念被提出了，智能制造在工業領域引起了新一輪的工業革命。隨著智能制造的發展以及互聯網技術的發展，工業大數據作為貫穿整個產品生產的新的要素，在一定程度上推動了智能制造的升級。

大數據分析計算實現的常用手段是利用Spark、Flink等技術，數據湖把協議解析網關解析后的原始數據按照不同類別進行存儲，在各數據池中可將數據清洗、計算、轉化為統一的可直接檢索的格式，這種方式具有極大的商業價值，對工業大數據有著極大貢獻。

然而在實現這個流程的過程中，往往需要面對原始數據來源復雜，處理流程繁瑣，對原始數據處理后需要龐大的存儲資源來進行存儲等一系列的問題，針對這些問題本申請提出了一種解決方案。

發明內容

發明目的：本發明的目的是提供一種基于多協議的異構數據收集及檢索系統，能夠有效的避免數據源頭多協議、數據資源碎片化以及數據檢索效率低的問題，還可以有效地避免數據存儲資源龐大以及存儲資源浪費的問題，并提供一整套的數據存儲和檢索服務。

技術方案：本發明所述的一種基于多協議的異構數據收集及檢索系統，其特征在于：包括有數據采集前端代理模塊、數據協議解析模塊、數據存儲模塊、數據清洗模塊、數據服務模塊和數據業務模塊；

所述數據采集前端代理模塊用于完成多源頭異構數據的采集，并進行接入到網關層或者直接和數據存儲模塊通信；

所述數據協議解析模塊將采集端上傳的標準協議轉換成JSON報文后與數據存儲模塊進行數據交換；

所述數據存儲模塊包括分布式文件系統、非關系型數據庫和關系型數據庫，用于存儲數據采集前端代理模塊和數據協議解析模塊傳輸過來的數據；

所述數據清洗模塊用于批量或者實時清洗和計算存儲在數據存儲模塊中的數據，并將治理后的數據按照用戶的建模形成相應的數據檢索庫、數據持久庫和內存計算庫，存儲在數據服務模塊中；

所述數據服務模塊包括分布式全文檢索ES數據庫、持久化數據庫RDS、分布式內存型數據庫(Redis、TSDB)三個部分；

所述數據業務模塊在數據服務模塊、數據存儲模塊、數據清洗模塊、數據采集前端代理模塊和數據協議解析模塊的基礎上用于為用戶提供數據業務和分析服務，提供標準對外接口。

作為優選，所述數據采集前端代理模塊采集的數據包括如下關鍵參數：數據的版本信息、認證信息、狀態信息、來源、日志信息、采集時間、業務數據結構報文和警報異常信息；所述數據采集前端代理模塊支持采集的數據協議有：Tcp、Http、Zigbee、三菱PLC、西門子PLC、歐姆龍PLC和Modbus。

作為優選，所述數據采集前端代理模塊和數據協議解析模塊實現數據提取及數據協議解析的步驟如下：

S3.1：多個數據采集前端代理模塊分別部署在不同的設備前端或者數據源業務系統，設備前端對接數據協議解析模塊中的協議轉換網關服務，數據源業務系統直接和數據存儲服務模塊通信；