[發明專利]基于微服務架構的網絡目標信息采集系統與方法

有效

• 申請號: 202210659009.8
• 申請日: 2022-06-13
• 公開（公告）號: CN114745390B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 王國金;謝崢;高慶官
• 申請（專利權）人: 南京賽寧信息技術有限公司
• 主分類號: H04L67/1001
• 分類號: H04L67/1001;H04L67/02;H04L61/4511;H04L43/08;G06F9/50;G06F9/48;G06F9/455
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 孟紅梅

本發明公開了基于微服務架構的網絡目標信息采集系統與方法，系統包括Web應用模塊、管理模塊、多個引擎服務模塊以及任務下發、引擎注冊、引擎執行等多個消息隊列。本發明將多個具體實現網絡目標的信息采集的引擎工具部署到一個引擎服務模塊中，引擎服務模塊以微服務的方式部署于Kubernetes集群的Pod中，由集群的副本控制器管理Pod副本運行。每種引擎工具對應有獨立的引擎執行隊列，由管理模塊在引擎工具注冊時創建，用于傳遞引擎工具的執行信息，管理模塊根據采集任務規劃采集流程，依次調用流程中涉及的引擎工具，在不同引擎服務內的引擎工具之間實現均衡調度。本發明可以提高系統的穩定性、抗壓性和可維護性。

技術領域

本發明涉及一種基于微服務架構的網絡目標信息采集系統與方法，屬于網絡安全，計算機軟件技術領域。

背景技術

網絡目標信息采集系統是通過計算機技術對網絡中設備的ip和域名進行檢索采集信息數據，對數據進行分析，能夠為設備安全檢查及護網提供有效的技術支撐。系統采集引擎工具因消耗資源和受網絡波動影響較大，單機部署性能存在瓶頸，使用多機分布式部署方案可有效的提高系統的吞吐量、穩定性。

圖1所示是當前信息采集系統部署結構示意圖，主要包括Web應用模塊、管理模塊、消息中間件、引擎服務模塊等。Web應用模塊與用戶交互，完成采集任務的管理。管理模塊主要負責任務、引擎調度的管理、結束數據分析功能。消息中間件用于消息通信，完成管理模塊和引擎服務模塊的交互功能。引擎服務模塊由大量獨立部署的引擎工具組成，運行于docker容器中，是任務調用的引擎實際執行環境，負責完成具體的引擎工具的調用執行、結果回傳操作。

采集任務調度執行過程主要包括：1、用戶輸入任務目標、類型等信息，創建采集任務；2、管理模塊拆解采集任務、分析任務需使用引擎，編排采集引擎執行步驟；3、查詢當前已注冊引擎工具，并根據注冊信息，下發引擎執行信息到rabbitMQ對應引擎的執行隊列；4、引擎服務模塊消費執行隊列消息，執行引擎并將執行結果發送到rabbitMQ的結果隊列；5、管理模塊消費執行結果隊列消息，分析處理結果數據，用于用戶查看。

現有方案存在如下不足：1、引擎工具較多，單獨部署，維護困難，且無法提供不間斷服務，不能很好的監控整個系統。2、引擎工具執行對設備資源和網絡質量要求較高，因為這兩方面異常導致進程終止時，需要人為操作，不能自動恢復。3、系統容錯率較低，在業務量暴增時不能均衡負載，抗壓性較差。

發明內容

發明目的：針對上述現有技術存在的問題，本發明目的在于提供一種基于微服務架構的網絡目標信息采集系統與方法，提高系統的穩定性、抗壓性和可維護性。

技術方案：為實現上述發明目的，本發明采用如下技術方案：

一種基于微服務架構的網絡目標信息采集系統，包括：

Web應用模塊，用于與用戶交互，完成采集任務管理；

管理模塊，用于根據用戶創建的采集任務規劃采集流程，根據采集流程實現引擎工具的調度；

多個引擎服務模塊，每個引擎服務中安裝有至少一個引擎工具，至少有一個引擎服務中安裝有多個引擎工具；所述引擎工具用于實現網絡目標的信息采集；

以及，多個消息隊列，包括：

任務下發隊列，用于傳遞采集任務相關信息，任務下發隊列的生產者為Web應用模塊，消費者為管理模塊；

引擎注冊隊列，用于傳遞引擎工具注冊信息，引擎注冊隊列的生產者為引擎服務模塊，消費者為管理模塊；其中引擎工具注冊信息至少包括引擎工具編號和引擎工具所在的引擎服務的引擎服務編號；

引擎執行隊列，每一種引擎工具對應有一個引擎執行隊列，由管理模塊在引擎工具注冊時創建，用于傳遞引擎工具的執行信息，引擎執行隊列的生產者為管理模塊，消費者為隊列對應的引擎工具；