[發(fā)明專利]一種基于多協(xié)議的異構(gòu)數(shù)據(jù)收集及檢索系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111485879.X
• 申請日: 2021-12-07
• 公開（公告）號: CN114238388A
• 公開（公告）日: 2022-03-25
• 發(fā)明（設(shè)計）人: 黃勇發(fā);范祥文;應(yīng)仲文
• 申請（專利權(quán)）人: 南京熊貓電子股份有限公司;南京熊貓電子裝備有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/215;H04L69/18;H04L69/22
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于多協(xié)議的異構(gòu)數(shù)據(jù)收集及檢索系統(tǒng)，其特征在于：包括有數(shù)據(jù)采集前端代理模塊、數(shù)據(jù)協(xié)議解析模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)清洗模塊、數(shù)據(jù)服務(wù)模塊和數(shù)據(jù)業(yè)務(wù)模塊；

所述數(shù)據(jù)采集前端代理模塊用于完成多源頭異構(gòu)數(shù)據(jù)的采集，并進行接入到網(wǎng)關(guān)層或者直接和數(shù)據(jù)存儲模塊通信；

所述數(shù)據(jù)協(xié)議解析模塊將采集端上傳的標(biāo)準(zhǔn)協(xié)議轉(zhuǎn)換成JSON報文后與數(shù)據(jù)存儲模塊進行數(shù)據(jù)交換；

所述數(shù)據(jù)存儲模塊包括分布式文件系統(tǒng)、非關(guān)系型數(shù)據(jù)庫和關(guān)系型數(shù)據(jù)庫，用于存儲數(shù)據(jù)采集前端代理模塊和數(shù)據(jù)協(xié)議解析模塊傳輸過來的數(shù)據(jù)；

所述數(shù)據(jù)清洗模塊用于批量或者實時清洗和計算存儲在數(shù)據(jù)存儲模塊中的數(shù)據(jù)，并將治理后的數(shù)據(jù)按照用戶的建模形成相應(yīng)的數(shù)據(jù)檢索庫、數(shù)據(jù)持久庫和內(nèi)存計算庫，存儲在數(shù)據(jù)服務(wù)模塊中；

所述數(shù)據(jù)服務(wù)模塊包括分布式全文檢索ES數(shù)據(jù)庫、持久化數(shù)據(jù)庫RDS、分布式內(nèi)存型數(shù)據(jù)庫(Redis、TSDB)三個部分；

所述數(shù)據(jù)業(yè)務(wù)模塊在數(shù)據(jù)服務(wù)模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)清洗模塊、數(shù)據(jù)采集前端代理模塊和數(shù)據(jù)協(xié)議解析模塊的基礎(chǔ)上用于為用戶提供數(shù)據(jù)業(yè)務(wù)和分析服務(wù)，提供標(biāo)準(zhǔn)對外接口。

2.根據(jù)權(quán)利要求1所述的一種基于多協(xié)議的異構(gòu)數(shù)據(jù)收集及檢索系統(tǒng)，其特征在于：所述數(shù)據(jù)采集前端代理模塊采集的數(shù)據(jù)包括如下關(guān)鍵參數(shù)：數(shù)據(jù)的版本信息、認證信息、狀態(tài)信息、來源、日志信息、采集時間、業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)報文和警報異常信息；所述數(shù)據(jù)采集前端代理模塊支持采集的數(shù)據(jù)協(xié)議有：Tcp、Http、Zigbee、三菱PLC、西門子PLC、歐姆龍PLC和Modbus。

3.根據(jù)權(quán)利要求1所述的一種基于多協(xié)議的異構(gòu)數(shù)據(jù)收集及檢索系統(tǒng)，其特征在于：所述數(shù)據(jù)采集前端代理模塊和數(shù)據(jù)協(xié)議解析模塊實現(xiàn)數(shù)據(jù)提取及數(shù)據(jù)協(xié)議解析的步驟如下：

S3.1：多個數(shù)據(jù)采集前端代理模塊分別部署在不同的設(shè)備前端或者數(shù)據(jù)源業(yè)務(wù)系統(tǒng)，設(shè)備前端對接數(shù)據(jù)協(xié)議解析模塊中的協(xié)議轉(zhuǎn)換網(wǎng)關(guān)服務(wù)，數(shù)據(jù)源業(yè)務(wù)系統(tǒng)直接和數(shù)據(jù)存儲服務(wù)模塊通信；

S3.2：采集到的數(shù)據(jù)通過采集前端代理模塊后經(jīng)過協(xié)議網(wǎng)關(guān)認證接入，按照相關(guān)對應(yīng)標(biāo)準(zhǔn)協(xié)議報文轉(zhuǎn)換為存儲模塊所能識別的JSON報文，并為報文打上標(biāo)簽，所述標(biāo)簽的信息包括：設(shè)備類型、數(shù)據(jù)來源、采集時間、數(shù)據(jù)結(jié)構(gòu)信息以及狀態(tài)位置信息；

S3.3：根據(jù)數(shù)據(jù)不同的數(shù)據(jù)來源、不同的數(shù)據(jù)類型分類、特殊的文件標(biāo)簽存儲到數(shù)據(jù)存儲服務(wù)模塊中的分布式文件中心、非關(guān)系型數(shù)據(jù)庫和關(guān)系型數(shù)據(jù)庫；

S3.4：數(shù)據(jù)存儲完后，按照用戶的數(shù)據(jù)建模，進行數(shù)據(jù)抽取，清洗，計算；將業(yè)務(wù)數(shù)據(jù)信息與數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系信息存儲在分布式全文檢索ES數(shù)據(jù)庫中。

4.根據(jù)權(quán)利要求1所述的一種基于多協(xié)議的異構(gòu)數(shù)據(jù)收集及檢索系統(tǒng)，其特征在于：所述數(shù)據(jù)服務(wù)模塊具備冷熱數(shù)據(jù)的自動切換功能，具體的實施步驟如下：

S4.1：數(shù)據(jù)業(yè)務(wù)人員向數(shù)據(jù)服務(wù)模塊發(fā)送數(shù)據(jù)業(yè)務(wù)請求，其中數(shù)據(jù)服務(wù)模塊包括數(shù)據(jù)檢索服務(wù)模塊和數(shù)據(jù)分析服務(wù)模塊；

S4.2：數(shù)據(jù)服務(wù)模塊按照不同業(yè)務(wù)類型，將任務(wù)分發(fā)給不同的數(shù)據(jù)服務(wù)處理模塊進行處理；

S4.3：數(shù)據(jù)服務(wù)處理模塊完成數(shù)據(jù)相關(guān)業(yè)務(wù)處理后，將處理分析結(jié)果反饋給數(shù)據(jù)業(yè)務(wù)模塊；

S4.4：數(shù)據(jù)服務(wù)處理模塊記錄當(dāng)前處理的數(shù)據(jù)，并更新分布式全文檢索數(shù)據(jù)庫中相應(yīng)數(shù)據(jù)的數(shù)據(jù)更新時間戳為當(dāng)前時間戳；

S4.5：數(shù)據(jù)服務(wù)模塊在啟動時，啟動定時檢查冷熱數(shù)據(jù)任務(wù)，該任務(wù)按照定時調(diào)度周期性工作的方式定時檢測分布式全文檢索數(shù)據(jù)庫中的數(shù)據(jù)更新時間；

S4.6：如果是冷數(shù)據(jù)，將分布式內(nèi)存數(shù)據(jù)庫中的冷數(shù)據(jù)刪除；如果是熱數(shù)據(jù)，則根據(jù)數(shù)據(jù)存儲在分布式全文檢索數(shù)據(jù)庫中的數(shù)據(jù)關(guān)聯(lián)關(guān)系、數(shù)據(jù)主鍵等信息檢索出熱點數(shù)據(jù)，并將熱點數(shù)據(jù)轉(zhuǎn)存到時序數(shù)據(jù)庫，以供高性能方式檢索。