[發明專利]一種基于配置文件和日志文件的跨組件數據流向審計方法和系統

有效

• 申請號: 202110340162.X
• 申請日: 2021-03-30
• 公開（公告）號: CN113271220B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 馬秉楠;王振宇;賈思宇
• 申請（專利權）人: 國家計算機網絡與信息安全管理中心;中國科學院信息工程研究所
• 主分類號: H04L41/04
• 分類號: H04L41/04;H04L41/069;H04L41/0823;H04L41/14;H04L41/22;H04L67/06;H04L67/1097;H04L67/30;H04L9/40
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

1.一種基于配置文件和日志文件的跨組件數據流向審計方法，其特征在于，包括以下步驟：

采集大數據平臺中各個組件的配置文件和日志文件；

根據采集的配置文件和日志文件，識別分布式環境下部署在不同物理服務器上的大數據組件；

根據識別出的大數據組件并結合日志文件中的信息，構建跨組件的數據流向圖；

根據數據流向圖進行數據流向的異常判定及告警；

通過包含集群、服務、角色、實例四層結構的組件構建模型，實現任意大數據組件的全局統一描述，其中：

集群：對應不同的數據中心，任意一個獨立的數據中心就是一個集群；

服務：對應不同的大數據組件；

角色：對應某個服務下的不同功能角色；

實例：是指某個具體的運行的進程，是配置文件的最小單元；

所述根據識別出的大數據組件并結合日志文件中的信息，構建跨組件的數據流向圖，包括：

基于所述組件構建模型，從日志數據中提取兩個關鍵實體：數據實體、程序實體；

基于程序實體、數據實體構建數據流向圖，數據流向圖中的任意兩個實體都通過讀、寫關系關聯。

2.根據權利要求1所述的方法，其特征在于，所述日志文件包括運行日志文件、審計日志文件。

3.根據權利要求1所述的方法，其特征在于，所述根據采集的配置文件和日志文件，識別分布式環境下部署在不同物理服務器上的大數據組件，包括：

1)采集某一組件的信息，依據組件構建模型所定義的要求，根據提前確定的數據字典，采集包括所屬集群、服務、角色、實例等具體的基礎信息；

2)將采集的基礎信息作為初始判定列表，并在整個集群中探查所有節點；

3)對于待探查的節點，基于集群、服務名、角色名、實例IP，依次判定是否在初始判定列表中出現，如果沒有出現，則將該待探查的節點的所屬集群、服務名、角色名、實例IP插入初始判定列表，并基于“集群-服務-角色-添加時間-隨機碼”形成唯一的組件ID；

4)如果該待探查的節點的所屬集群、服務名、角色名、實例IP已經在初始判定列表中出現，則交叉驗證該待探查的節點的配置文件中的關鍵IP是否已經在初始判定列表中出現，如果未出現，則將該待探查的節點的配置文件中的關鍵IP插入初始判定列表；

5)如果該待探查的節點的配置文件中的關鍵IP已經在初始判定列表中出現，則進一步比對該待探查的節點的運行日志中的IP是否在初始判定列表中出現，如果有出現，則將該待探查的節點的運行日志中的IP更新到已有的對應ID下的組件，并更新屬性；

6)如果該待探查的節點的運行日志中的IP沒有在初始判定列表中出現，則放棄該待探查的節點的運行日志中的IP；

7)依次循環執行上述過程，直至完成數據字典中所有已知組件和集群下所有節點的判定，最終的判定列表即為本集群的所有組件。

4.根據權利要求1所述的方法，其特征在于，構建所述數據流向圖時，首先構建原子數據流向信息，然后將多個原子數據流向信息進行去重、合并、統一后得到整個集群的完整數據流向信息。

5.根據權利要求1所述的方法，其特征在于，所述根據數據流向圖進行數據流向的異常判定及告警，包括：

1)通過關聯權限信息，支持查驗是否有權限設置的遺漏環節，具體包括以下步驟：

a)構建集群的數據流向信息，存儲在圖數據庫中；

b)將待核驗的用戶權限信息作為輸入條件，在數據流向中進行檢索，查看被授權數據的前后數據流；

c)確定前后流轉關系中是否出現該用戶無權訪問的信息，如果有，則進行告警；

2)通過設定判定閾值，自動發現流量變化異常的數據流，含新增、中斷流程，并支持展示相關組件和對應的部署信息，對變化異常的數據流進行告警推送；具體包括以下步驟：

a)構建集群的數據流向信息，存儲在圖數據庫中；

b)基于時間條件，查看某個時間點之前存在數據流向，但是該時間點后消失的數據流向，并將檢索結果推送告警；

c)基于時間條件，查看某個時間點之前不存在數據流向，但是該時間點后出現的數據流向，并將檢索結果推送告警。