[發(fā)明專利]基于微服務(wù)架構(gòu)的網(wǎng)絡(luò)目標(biāo)信息采集系統(tǒng)與方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202210659009.8
• 申請(qǐng)日: 2022-06-13
• 公開（公告）號(hào): CN114745390B
• 公開（公告）日: 2022-10-04
• 發(fā)明（設(shè)計(jì)）人: 王國(guó)金;謝崢;高慶官
• 申請(qǐng)（專利權(quán)）人: 南京賽寧信息技術(shù)有限公司
• 主分類號(hào): H04L67/1001
• 分類號(hào): H04L67/1001;H04L67/02;H04L61/4511;H04L43/08;G06F9/50;G06F9/48;G06F9/455
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 孟紅梅

1.一種基于微服務(wù)架構(gòu)的網(wǎng)絡(luò)目標(biāo)信息采集系統(tǒng)，其特征在于，包括：

Web應(yīng)用模塊，用于與用戶交互，完成采集任務(wù)管理；

管理模塊，用于根據(jù)用戶創(chuàng)建的采集任務(wù)規(guī)劃采集流程，根據(jù)采集流程實(shí)現(xiàn)引擎工具的調(diào)度；

多個(gè)引擎服務(wù)模塊，每個(gè)引擎服務(wù)中安裝有至少一個(gè)引擎工具，至少有一個(gè)引擎服務(wù)中安裝有多個(gè)引擎工具；所述引擎工具用于實(shí)現(xiàn)網(wǎng)絡(luò)目標(biāo)的信息采集；將多個(gè)運(yùn)行環(huán)境相同引擎工具整合安裝到一個(gè)引擎服務(wù)docker鏡像中，基于引擎服務(wù)docker鏡像創(chuàng)建Kubernetes集群Pod副本；系統(tǒng)通過統(tǒng)計(jì)引擎工具的使用頻率優(yōu)化引擎服務(wù)中的引擎工具組合，使用頻率相近的引擎工具組合到一個(gè)或多個(gè)引擎服務(wù)中；

以及，多個(gè)消息隊(duì)列，包括：

任務(wù)下發(fā)隊(duì)列，用于傳遞采集任務(wù)相關(guān)信息，任務(wù)下發(fā)隊(duì)列的生產(chǎn)者為Web應(yīng)用模塊，消費(fèi)者為管理模塊；

引擎注冊(cè)隊(duì)列，用于傳遞引擎工具注冊(cè)信息，引擎注冊(cè)隊(duì)列的生產(chǎn)者為引擎服務(wù)模塊，消費(fèi)者為管理模塊；其中引擎工具注冊(cè)信息至少包括引擎工具編號(hào)和引擎工具所在的引擎服務(wù)的引擎服務(wù)編號(hào)；

引擎執(zhí)行隊(duì)列，每一種引擎工具對(duì)應(yīng)有一個(gè)引擎執(zhí)行隊(duì)列，由管理模塊在引擎工具注冊(cè)時(shí)創(chuàng)建，用于傳遞引擎工具的執(zhí)行信息，引擎執(zhí)行隊(duì)列的生產(chǎn)者為管理模塊，消費(fèi)者為隊(duì)列對(duì)應(yīng)的引擎工具；通過引擎執(zhí)行隊(duì)列實(shí)現(xiàn)在多個(gè)引擎服務(wù)中相同引擎工具之間的負(fù)載均衡；

任務(wù)結(jié)果隊(duì)列，用于傳遞采集任務(wù)結(jié)果信息，任務(wù)結(jié)果隊(duì)列的生成者為對(duì)引擎工具采集的數(shù)據(jù)進(jìn)行處理的數(shù)據(jù)分析模塊，消費(fèi)者為Web應(yīng)用模塊；

所述管理模塊、引擎服務(wù)模塊和數(shù)據(jù)分析模塊以微服務(wù)的方式部署于Kubernetes集群的Pod中，由Kubernetes集群的副本控制器管理Pod副本運(yùn)行。

2.根據(jù)權(quán)利要求1所述基于微服務(wù)架構(gòu)的網(wǎng)絡(luò)目標(biāo)信息采集系統(tǒng)，其特征在于，所述管理模塊在進(jìn)行引擎工具注冊(cè)時(shí)，為每個(gè)引擎服務(wù)的引擎工具生成注冊(cè)標(biāo)識(shí)，并發(fā)送給相應(yīng)的引擎服務(wù)模塊，引擎服務(wù)模塊保存注冊(cè)標(biāo)識(shí)，并定時(shí)發(fā)送心跳信息，保持引擎工具的可用狀態(tài)。

3.根據(jù)權(quán)利要求1所述基于微服務(wù)架構(gòu)的網(wǎng)絡(luò)目標(biāo)信息采集系統(tǒng)，其特征在于，所述管理模塊在下發(fā)執(zhí)行任務(wù)到引擎工具之前，判斷引擎工具所在的引擎服務(wù)是否存活，至少有一個(gè)引擎服務(wù)存活時(shí)，再進(jìn)行任務(wù)下發(fā)。

4.根據(jù)權(quán)利要求1所述基于微服務(wù)架構(gòu)的網(wǎng)絡(luò)目標(biāo)信息采集系統(tǒng)，其特征在于，所述管理模塊、引擎服務(wù)模塊和數(shù)據(jù)分析模塊注冊(cè)到Kubernetes集群的apiserver中由集群統(tǒng)一監(jiān)控管理。

5.根據(jù)權(quán)利要求1所述基于微服務(wù)架構(gòu)的網(wǎng)絡(luò)目標(biāo)信息采集系統(tǒng)，其特征在于，根據(jù)采集任務(wù)規(guī)劃的采集流程包括引擎工具調(diào)用的先后順序、觸發(fā)子流程的條件和終止子流程的條件。

6.根據(jù)權(quán)利要求1所述基于微服務(wù)架構(gòu)的網(wǎng)絡(luò)目標(biāo)信息采集系統(tǒng)，其特征在于，Kubernetes集群基于Pod水平自動(dòng)伸縮技術(shù)或者請(qǐng)求數(shù)對(duì)Pod自動(dòng)擴(kuò)縮容。

7.根據(jù)權(quán)利要求1所述基于微服務(wù)架構(gòu)的網(wǎng)絡(luò)目標(biāo)信息采集系統(tǒng)，其特征在于，所述引擎服務(wù)模塊中設(shè)有探針，用于檢查網(wǎng)絡(luò)狀態(tài)和進(jìn)程狀態(tài)，在發(fā)生異常時(shí)通知集群主節(jié)點(diǎn)進(jìn)行異常恢復(fù)。

8.根據(jù)權(quán)利要求1所述基于微服務(wù)架構(gòu)的網(wǎng)絡(luò)目標(biāo)信息采集系統(tǒng)，其特征在于，所述Web應(yīng)用模塊，以及存儲(chǔ)采集任務(wù)信息及任務(wù)結(jié)果信息的數(shù)據(jù)庫(kù)，部署于Kubernetes集群外的服務(wù)器，通過Kubernetes Proxy API訪問集群內(nèi)部的消息隊(duì)列，將采集任務(wù)發(fā)送到集群內(nèi)處理。

9.基于根據(jù)權(quán)利要求1-8任一項(xiàng)所述的基于微服務(wù)架構(gòu)的網(wǎng)絡(luò)目標(biāo)信息采集系統(tǒng)實(shí)現(xiàn)的網(wǎng)絡(luò)目標(biāo)信息采集方法，其特征在于，包括如下步驟：

將一個(gè)或多個(gè)引擎工具集成到不同的引擎服務(wù)模塊中，將管理模塊、引擎服務(wù)模塊和數(shù)據(jù)分析模塊以微服務(wù)的方式部署于Kubernetes集群的Pod中，配置各模塊的Pod副本數(shù)量或Pod副本自動(dòng)擴(kuò)縮容規(guī)則；

各微服務(wù)在啟動(dòng)成功后注冊(cè)到Kubernetes集群的apiserver中；引擎服務(wù)啟動(dòng)后還將掃描已安裝的引擎工具，將引擎工具編號(hào)和引擎服務(wù)編號(hào)通過引擎注冊(cè)隊(duì)列發(fā)送到管理模塊；

管理模塊在收到引擎工具注冊(cè)信息后，為每一種引擎工具創(chuàng)建一個(gè)與其引擎編號(hào)對(duì)應(yīng)的引擎執(zhí)行隊(duì)列，用于傳遞引擎工具的執(zhí)行信息；

Web應(yīng)用模塊接收用戶創(chuàng)建的采集任務(wù)，通過任務(wù)下發(fā)隊(duì)列發(fā)送到管理模塊；

管理模塊根據(jù)用戶創(chuàng)建的采集任務(wù)規(guī)劃采集流程，采集流程中規(guī)劃了多個(gè)引擎工具的調(diào)度順序，管理模塊根據(jù)采集流程中引擎工具編號(hào)，將引擎工具的執(zhí)行信息寫入引擎工具編號(hào)對(duì)應(yīng)的引擎執(zhí)行隊(duì)列；該引擎執(zhí)行隊(duì)列的一個(gè)空閑消費(fèi)者獲取執(zhí)行信息實(shí)現(xiàn)網(wǎng)絡(luò)目標(biāo)的信息采集，存儲(chǔ)采集到的原始結(jié)果數(shù)據(jù)；

數(shù)據(jù)分析模塊對(duì)采集到的原始結(jié)果數(shù)據(jù)進(jìn)行處理，將任務(wù)結(jié)果信息通過任務(wù)結(jié)果隊(duì)列發(fā)送到Web應(yīng)用模塊。