[發明專利]一種情報數據融合方法與裝置

有效

• 申請號: 202110588184.8
• 申請日: 2021-05-27
• 公開（公告）號: CN113254641B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 任傳倫;王淮;劉曉影;烏吉斯古愣;俞賽賽;張先國;王玥
• 申請（專利權）人: 中國電子科技集團公司第十五研究所;中國電子科技集團公司第三十研究所
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/295;G06K9/62
• 代理公司: 北京豐浩知識產權代理事務所(普通合伙) 11781
• 代理人: 李學康

本發明提供了一種情報數據融合方法與裝置，采用決策樹ID3算法訓練生成Smart規則，通過對原始網絡情報數據進行實體提取、實體分類、屬性識別和屬性提取，自動選擇融合規則，實現網絡情報數據的融合。本發明主要目的在于解決現有情報數據融合效率低、融合效果參差不齊的問題，實現對網絡情報數據的高效、快速、標準化融合，降低網絡情報數據融合對領域專家知識的依賴度。

技術領域

本發明涉及網絡安全技術領域，特別是涉及一種情報數據融合方法與裝置。

背景技術

情報數據融合主要是對新增情報數據進行處理，實現新增情報數據的實體和屬性值的入庫。情報數據融合是對情報數據進行實體融合、屬性融合等操作，將實體和屬性值以新增或更新的方式融合到既有情報庫中。

目前，針對情報數據融合的方法主要是以程序腳本對實體和屬性值進行校驗，人工提取實體和屬性值，結合領域專家知識采用后臺或前臺可視化操作等方式，手動將網絡情報數據保存到情報庫中。這種方法需要人工介入進行新增數據的寫入，對數據屬性的校驗均需要專家參與，從而實現情報數據融合。由于該方法需要大量人工操作，對領域專家過度依賴，且面對海量情報數據時難以在有限時間內完成數據融合，導致情報數據的融合效率低、融合效果因人而異。

發明內容

有鑒于此，本發明提供的一種情報數據融合方法與裝置，主要目的在于解決現有情報數據融合效率低、融合效果參差不齊的問題。本發明的方法避免了對領域專家的過度依賴、減輕了繁重的人工操作，依據網絡情報數據來源廣泛、屬性缺失、可信度低等特點，設計Smart規則，實現網絡情報數據快速、自動化融合。

根據本發明一個方面，提供了一種情報數據融合方法，該方法包括步驟：S1對原始網絡情報數據進行預處理，獲得符合情報庫數據模型的結構化數據；S2采集大量所述結構化數據并對其中每一條數據進行融合方式的標注，形成訓練數據；使用訓練數據對決策樹模型進行機器學習訓練，獲得Smart規則決策樹模型；S3將所述結構化數據輸入Smart規則決策樹模型，獲取所述結構化數據與所述情報庫數據模型的融合規則；S4根據所述融合規則將所述結構化數據寫入所述情報庫。

作為本發明的進一步改進，所述使用訓練數據對決策樹模型進行機器學習訓練具體為使用決策樹ID3分類算法進行訓練。

作為本發明的進一步改進，所述預處理包括：S101實體提取：對所述原始網絡情報數據中的情報實體進行識別，及提取和保存實體字段；S102實體分類：對所述情報實體進行分類，根據所述情報庫數據模型的約束將所述實體字段映射到所述情報庫數據模型上；S103屬性識別：識別所述情報實體的實體屬性；S104屬性提取：將所述實體屬性與所述情報庫數據模型進行匹配，對匹配吻合的所述實體屬性進行屬性值的提取和處理，形成格式化的實體屬性數據。

作為本發明的進一步改進，所述訓練數據具體為：定義m類所述情報實體，定義n類所述情報實體的實體屬性；對每一條所述原始網絡情報數據進行預處理，形成所述結構化數據為m+n維數據向量；所述融合方式的標注分為對所述情報實體融合方式的標注以及對所述實體屬性融合方式的標注；所述情報實體融合方式為數據覆蓋寫入、數據新增寫入和重復數據丟棄；所述實體屬性融合方式為數據覆蓋寫入、數據新增寫入、重復數據丟棄、數據追加寫入和部分替換寫入。

作為本發明的進一步改進，所述使用決策樹ID3分類算法進行訓練具體為：步驟一：對所述訓練數據計算獲取當前信息熵，計算各所述n個實體屬性下的分支信息熵，根據所述分支信息熵計算條件熵，進而分別計算n個屬性的信息增益，從中選擇所述信息增益最大的屬性作為決策點并加入決策樹；步驟二：將所述信息增益最大的屬性列數據從所述訓練數據中移除，對當前訓練數據重復步驟一，直至全部實體屬性均加入決策樹。