[發明專利]一種基于配置文件和日志文件的跨組件數據流向審計方法和系統

有效

• 申請號: 202110340162.X
• 申請日: 2021-03-30
• 公開（公告）號: CN113271220B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 馬秉楠;王振宇;賈思宇
• 申請（專利權）人: 國家計算機網絡與信息安全管理中心;中國科學院信息工程研究所
• 主分類號: H04L41/04
• 分類號: H04L41/04;H04L41/069;H04L41/0823;H04L41/14;H04L41/22;H04L67/06;H04L67/1097;H04L67/30;H04L9/40
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

本發明涉及一種基于配置文件和日志文件的跨組件數據流向審計方法和系統。該方法的步驟包括：采集大數據平臺中各個組件的配置文件和日志文件；根據采集的配置文件和日志文件，識別分布式環境下部署在不同物理服務器上的大數據組件；根據識別出的大數據組件并結合日志文件中的信息，構建跨組件的數據流向圖；根據數據流向圖進行數據流向的異常判定及告警。本發明通過采集各個組件的配置文件、運行日志文件、審計日志文件實現交叉驗證，實現高精度的組件識別，結合凝練的安全審計模型，實現大數據平臺整體數據流轉情況的采集，進而支持業務流程中不同環節的數據使用情況審計，并能夠對異常任務、異常數據使用場景進行識別和告警。

技術領域

本發明屬于大數據技術領域，具體提出一種基于大數據組件配置文件和日志文件的跨組件數據流向審計的方法和系統。

背景技術

以Hadoop為代表的大數據技術自推出以來，重點解決了分布式環境下利用通用服務器進行海量數據計算的各類痛點，隨著云技術的推廣，各個集群陸續從內網走向外網，因為缺乏原生的數據保護機制，且大數據組件種類多、搭配和組合多，導致數據層面屢次出現泄漏事件，雖然各個組件也陸續推出了各種保護措施，但是缺乏整體角度的數據使用情況審計，無法對整個集群的數據流轉及運行情況進行安全評估。

數據流向不同于數據血緣，前者的重點在數據的流轉過程，例如Kafka的訂閱，本身不會產生新的數據關系，但是其被不同的用戶訂閱走的數據都需要進行追蹤；數據血緣重點關注數據的衍生關系，并且囿于技術體系的不同，數據血緣的探究多在同一個組件中，一旦數據跨組件流轉，尤其是在不同數據組件之間流轉時，血緣關系很難獲取，此外，因為不同的組件代表不同的處理過程，此時去追蹤血緣也沒有那么必要了。而數據流向的追蹤對于數據安全，尤其是跟蹤數據的使用情況，就顯得非常重要?？梢酝ㄟ^數據流向，跟蹤每個不同的業務的具體處理邏輯，可以從不同的數據交互、業務邏輯交互中梳理出數據流轉路徑；可以通過數據流向發現業務的使用異常，例如一個新的數據流向的產生，以及一個既有數據流的中斷，都一般是業務上產生了新變化或故障導致；可以通過數據流向情況，結合權限信息，發現一些漏洞，例如用戶沒有某個數據的權限，但是卻擁有該數據的一個下游子集的權限，則必然會導致信息的泄露。

發明內容

本發明聚焦Hadoop生態下，采用輕量級侵擾方式，通過采集各個組件的配置文件、運行日志文件、審計日志文件實現交叉驗證，實現高精度的組件識別，結合凝練的安全審計模型，實現大數據平臺整體數據流轉情況的采集，進而支持業務流程中不同環節的數據使用情況審計，并能夠對異常任務、異常數據使用場景進行識別和告警。

為實現上述目的，本發明采用的技術方案如下：

一種基于配置文件和日志文件的跨組件數據流向審計方法，包括以下步驟：

采集大數據平臺中各個組件的配置文件和日志文件；

根據采集的配置文件和日志文件，識別分布式環境下部署在不同物理服務器上的大數據組件；

根據識別出的大數據組件并結合日志文件中的信息，構建跨組件的數據流向圖；

根據數據流向圖進行數據流向的異常判定及告警。

進一步地，所述日志文件包括運行日志文件、審計日志文件。

進一步地，通過包含集群、服務、角色、實例四層結構的組件構建模型，實現任意大數據組件的全局統一描述，其中：

集群：對應不同的數據中心，任意一個獨立的數據中心就是一個集群；

服務：對應不同的大數據組件；

角色：對應某個服務下的不同功能角色；

實例：是指某個具體的運行的進程，是配置文件的最小單元。