[發明專利]一種低開銷的文件操作日志采集方法

有效

• 申請號: 201911303119.5
• 申請日: 2019-12-17
• 公開（公告）號: CN111159117B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 張為華;魯云萍
• 申請（專利權）人: 復旦大學
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/18
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 楊宏泰

本發明涉及一種低開銷的文件操作日志采集方法，包括以下步驟：1)采用內核探針采集內核中的文件操作日志信息；2)在內核空間設置一塊用以寫入內核探針采集到的信息的共享內存，用戶空間從共享內存中讀取內核探針采集到的信息；3)通過去重算法減少日志數量，降低日志采集開銷。與現有技術相比，本發明選用開銷較小的內核探針技術進行文件操作信息采集，并且采用共享內存的方式把內核里的信息傳遞到用戶層，然后通過在線去重算法來減小日志量，降低系統開銷。

技術領域

本發明涉及數據防護領域，尤其是涉及一種低開銷的文件操作日志采集方法。

背景技術

隨著互聯網、社交媒體、云計算、物聯網、移動短視頻、電子商務等領域的快速發展，全球每年產生的數據量呈爆炸式的增長。大數據的時代已經到來，數據已經變成世界上最重要的數字資產。技術的發展給人們的生活帶來了巨大的生活便利，例如手機支付、人臉識別、智能語音、無人超市等等。但是與此同時也給人們帶來了數據泄露的風險。各種各樣的數據泄露事件層出不窮。人們對數據防護的需求也越來越高。現階段，80％的數據存放在文件中，通過記錄文件操作的日志是數據保護的重要措施之一，當數據發生泄露，可以通過文件操作日志進行回溯，發現泄露根源。但是現有的日志采集方法存在一個主要問題，系統開銷太大。現有的日志采集方法開銷較大的原因主要有以下三個：

(1)采用開銷較大的攔截系統調用方法來記錄文件操作日志，通過攔截所有文件操作的系統調用記錄所有的文件操作日志。

(2)通過開銷較大的printk函數將日志信息從內核空間傳遞到用戶空間。

(3)由于文件操作日志存在大量冗余日志和臨時文件產生的日志，造成系統日志量過大，磁盤IO開銷較大。

現有的文件操作日志采集方法系統開銷大，不利于實際生產環境的部署，日志量太大帶來存儲的開銷。針對現有文件操作日志采集方法開銷大的問題，目前的解決方法有通過開銷較小的可堆疊式文件系統進行文件操作日志采集，然后記錄部分文件的操作，而不是記錄系統內所有的文件操作，或者是只記錄部分用戶的所有文件操作，而不是所有用戶的文件操作。這種方法雖然能減少系統開銷，但是并不能記錄所有用戶的所有文件操作，當沒有被記錄日志的文件發生泄露的時候，無法通過文件操作日志來進行溯源，找到泄露者，泄露方式。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種低開銷的文件操作日志采集方法。

本發明的目的可以通過以下技術方案來實現：

一種低開銷的文件操作日志采集方法，包括以下步驟：

1)采用內核探針采集內核中的文件操作日志信息；

2)在內核空間設置一塊用以寫入內核探針采集到的信息的共享內存，用戶空間從共享內存中讀取內核探針采集到的信息；

3)通過去重算法減少日志數量，降低日志采集開銷。

所述的步驟2)中，用戶空間通過mmap機制實時從共享內存中讀取內核探針采集到的信息。

所述的步驟3)中，通過構建哈希表進行去重，哈希表中的鍵值均為結構體，哈希表中的鍵為文件操作日志中相同的部分，哈希表中的值即為去重后的日志信息。

所述的去重算法包括過濾模塊和合并模塊，所述的過濾模塊包括內核層過濾和用戶層過濾，內核層過濾用以實現對文件操作日志的過濾，用戶層過濾用以實現對臨時文件的過濾，所述的合并模塊用以對文件讀寫操作進行合并，當對同一文件有多次讀寫操作時，則將多次連續讀操作合并為一條讀日志，將多次連續寫操作合并為一條寫日志。

所述的合并模塊的具體操作流程如下：

首先進行查找，查找該條日志信息是否存在于已有日志信息中，如果存在則進行合并，如果不存在，則在哈希表中插入該條日志信息。