[發明專利]一種數據分析方法、裝置、設備及存儲介質

在審

• 申請號: 202210060977.7
• 申請日: 2022-01-19
• 公開（公告）號: CN114398428A
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 吳脂娟;郝偉;劉加瑞
• 申請（專利權）人: 安徽華云安科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27;G06F16/28;G06F16/2455;G06F16/951
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 彭星

1.一種數據分析方法，其特征在于，所述方法包括：

獲取威脅情報文本數據，其中，威脅情報文本數據指利用應用系統中的軟件安全漏洞攻擊、入侵他人計算機的數據；

按照預設的數據類型將所述威脅情報文本數據進行分類處理，并對每種數據類型中的數據進行去重處理，得到每種數據類型各自對應的待處理數據；

按照預設的存儲字段將每種數據類型各自對應的待處理數據存儲至HBase數據庫的臨時表中；

確定每種存儲字段在臨時表中各自對應的從鍵ID和HBase數據庫的臨時表對應的主鍵ID，以及確定每種存儲字段在臨時表中各自對應的從鍵ID和所述臨時表對應的主鍵ID之間的關聯關系數據；

將所述關聯關系數據導入到圖數據庫中，得到多級關聯關系的威脅情報關系數據；

對所述威脅情報關系數據進行查找統計處理，確定每種存儲字段各自對應的多級關聯關系的統計結果。

2.根據權利要求1所述的數據分析方法，其特征在于，獲取威脅情報文本數據，包括：

根據爬蟲程序從互聯網中獲取開源的威脅情報文本數據，并將獲取到的威脅情報文本數據保存在HBase數據庫中。

3.根據權利要求1所述的數據分析方法，其特征在于，按照預設的數據類型將所述威脅情報文本數據進行分類處理，并對每種數據類型中的數據進行去重處理，得到每種數據類型各自對應的待處理數據，包括：

按照IP地址數據、域名數據、樣本數據和Url數據將所述威脅情報文本數據進行分類處理，其中，所述預設的數據類型包含：IP地址數據、域名數據、樣本數據、Url數據；

若分類后的所述威脅情報文本數據存在重復的ID標識，則對分類后的所述威脅情報文本數據中重復的ID標識所對應的關鍵字段進行去重處理，得到每種數據類型各自對應的待處理數據。

4.根據權利要求1所述的數據分析方法，其特征在于，按照預設的存儲字段將每種數據類型各自對應的待處理數據存儲至HBase數據庫的臨時表中，包括：

按照預設的存儲字段將每種數據類型各自對應的待處理數據分別存儲至HBase數據庫的臨時表中，其中，所述存儲字段包含：國家字段、城市字段、社區字段、端口字段、地址字段、文檔字段、郵箱字段、Url字段和范圍字段；

根據所述HBase數據庫的臨時表，建立所述臨時表對應的主鍵ID。

5.根據權利要求1所述的數據分析方法，其特征在于，確定每種存儲字段在臨時表中各自對應的從鍵ID和HBase數據庫的臨時表對應的主鍵ID，以及確定每種存儲字段在臨時表中各自對應的從鍵ID和所述臨時表對應的主鍵ID之間的關聯關系數據，包括：

確定每種存儲字段在臨時表中的存儲地址為每種存儲字段各自對應的從鍵ID；

確定HBase數據庫的臨時表對應的存儲地址為主鍵ID；

將每種存儲字段各自對應的從鍵ID和HBase數據庫的臨時表對應的主鍵ID進行綁定，生成關聯關系數據。

6.根據權利要求1所述的數據分析方法，其特征在于，將所述關聯關系數據導入到圖數據庫中，得到多級關聯關系的威脅情報關系數據，包括：

在所述圖數據庫中按照每種數據類型，根據HBase數據庫的臨時表對應的主鍵ID與圖數據庫中關聯關系數據ID，建立第一級關聯關系；

根據所述第一級關聯關系與每種存儲字段各自對應的屬性，建立關聯關系數據的第二級關聯關系；

根據所述第一級關聯關系和所述第二級關聯關系，得到多級關聯關系的威脅情報關系數據。

7.根據權利要求1所述的數據分析方法，其特征在于，對所述威脅情報關系數據進行查找統計處理，確定每種存儲字段各自對應的多級關聯關系的統計結果，包括：

根據每種存儲字段對所述威脅情報關系數據進行查找處理，得到每種存儲字段各自對應的統計數據；

確定所有存儲字段對應的統計數據為統計結果，將所述統計結果進行可視化處理。