[發(fā)明專利]一種跨平臺多主機(jī)聯(lián)合日志壓縮方法

有效

• 申請?zhí)枺?/td>: 202010903265.8
• 申請日: 2020-09-01
• 公開（公告）號: CN112084154B
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計）人: 朱添田;王佳宇
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/16;G06F16/174;G06F16/18;H04L9/40
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發(fā)明公開了一種跨平臺多主機(jī)聯(lián)合日志壓縮方法，包括如下步驟：S1、獲取每臺本地主機(jī)的系統(tǒng)日志數(shù)據(jù)；S2、對數(shù)據(jù)進(jìn)行本地壓縮，包括：S21、采用保持全局語義的數(shù)據(jù)壓縮算法進(jìn)行第一次壓縮；S22、采用基于可疑語義的數(shù)據(jù)壓縮算法對第一次壓縮后的數(shù)據(jù)進(jìn)行第二次壓縮，并記錄第二次壓縮后來自同一局域網(wǎng)的網(wǎng)絡(luò)數(shù)據(jù)源IP地址和接收到網(wǎng)絡(luò)數(shù)據(jù)的時間戳至本地主機(jī)的時間表，上傳各時間表至云服務(wù)器；S3、上傳第二次壓縮后的數(shù)據(jù)和本地主機(jī)中的白名單至云服務(wù)器；S4、云服務(wù)器對接收的第二次壓縮后的數(shù)據(jù)進(jìn)行跨平臺聯(lián)合壓縮。具有通用性、有效性和實(shí)時性，壓縮效率高，可緩解數(shù)據(jù)存儲壓力、提高分析效率且適用于不同平臺。

技術(shù)領(lǐng)域

本發(fā)明屬于信息處理技術(shù)領(lǐng)域，具體涉及一種跨平臺多主機(jī)聯(lián)合日志壓縮方法。

背景技術(shù)

APT(Advanced Persistent Threat)攻擊，即高級持續(xù)性威脅攻擊，通常是指對政府、核心基礎(chǔ)設(shè)施(如能源、運(yùn)輸、通訊)和重要行業(yè)(如軍工、金融、醫(yī)療)所發(fā)動的攻擊。APT攻擊與傳統(tǒng)的攻擊模式相比，具有持續(xù)時間久、攻擊鏈長、隱蔽性高、手段多樣、危害性強(qiáng)等特征，可利用社會工程學(xué)、0-day漏洞、受感染的存儲介質(zhì)等多種方式進(jìn)行攻擊。此外，根據(jù)Trustwave數(shù)據(jù)顯示，APT攻擊從初步入侵到造成影響的平均潛伏時間為83天。

現(xiàn)有檢測方法很難直接檢測出一條完整的APT攻擊鏈，分析人員通常在某個時間點(diǎn)檢測出攻擊的某一個步驟后，通過取證分析來快速定位入口點(diǎn)并判斷攻擊的范圍，進(jìn)而執(zhí)行后續(xù)的補(bǔ)救措施。取證分析通常利用系統(tǒng)日志記錄實(shí)體(如進(jìn)程、文件等)以及實(shí)體間的信息流(如讀、寫、創(chuàng)建等)，以有向圖的形式直觀展現(xiàn)實(shí)體間的依賴關(guān)系。為進(jìn)行取證分析，長期日志存儲勢在必行。

根據(jù)調(diào)研顯示，在單主機(jī)上采集的原始數(shù)據(jù)可達(dá)到5GB/天。在實(shí)際中，大型政府和企業(yè)往往需要對上千臺機(jī)器進(jìn)行數(shù)據(jù)收集，數(shù)據(jù)量可輕松到達(dá)PB級別。海量數(shù)據(jù)不僅會帶來巨大的存儲成本，還會使溯源分析效率大打折扣。現(xiàn)有數(shù)據(jù)壓縮技術(shù)從一定程度上緩解了數(shù)據(jù)存儲問題，但仍存在不足之處，如：僅考慮單節(jié)點(diǎn)特性，忽略全局語義信息，壓縮效率有限；只對離線緩存的大規(guī)模日志數(shù)據(jù)進(jìn)行壓縮，占用內(nèi)存高且無法保證壓縮的實(shí)時性；依賴于大量的軟件模型，采用細(xì)粒度的污點(diǎn)跟蹤技術(shù)來刪除冗余事件，場景的覆蓋率較低；壓縮策略只針對于特定事件，不具備通用性。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對上述問題，提出一種跨平臺多主機(jī)聯(lián)合日志壓縮方法，具有通用性、有效性和實(shí)時性，壓縮效率高并大大減少數(shù)據(jù)量，緩解數(shù)據(jù)存儲壓力、提高分析效率且適用于不同平臺。

為實(shí)現(xiàn)上述目的，本發(fā)明所采取的技術(shù)方案為：

本發(fā)明提出的一種跨平臺多主機(jī)聯(lián)合日志壓縮方法，包括如下步驟：

S1、獲取每臺本地主機(jī)的系統(tǒng)日志數(shù)據(jù)；

S2、分別在每臺本地主機(jī)上對系統(tǒng)日志數(shù)據(jù)進(jìn)行本地壓縮，包括如下步驟：

S21、采用保持全局語義的數(shù)據(jù)壓縮算法對系統(tǒng)日志數(shù)據(jù)進(jìn)行第一次壓縮；

保持全局語義的數(shù)據(jù)壓縮算法，用于確定系統(tǒng)日志數(shù)據(jù)中事件的源實(shí)體的語義是否變化，若否，則源實(shí)體到同一目標(biāo)實(shí)體存在等價事件，保留等價事件中第一個事件的系統(tǒng)日志數(shù)據(jù)，并刪除其它等價事件的系統(tǒng)日志數(shù)據(jù)，否則，直接保留；

S22、采用基于可疑語義的數(shù)據(jù)壓縮算法對第一次壓縮后的系統(tǒng)日志數(shù)據(jù)進(jìn)行第二次壓縮，并記錄第二次壓縮后來自同一局域網(wǎng)的網(wǎng)絡(luò)數(shù)據(jù)的源IP地址和接收到網(wǎng)絡(luò)數(shù)據(jù)的時間戳至對應(yīng)本地主機(jī)的時間表中，上傳各時間表至云服務(wù)器；

基于可疑語義的數(shù)據(jù)壓縮算法，用于分析系統(tǒng)日志數(shù)據(jù)中的事件是否發(fā)生可疑語義傳遞，若是，則事件為可疑事件，否則，為非可疑事件，保留可疑事件的系統(tǒng)日志數(shù)據(jù)，并刪除非可疑事件的系統(tǒng)日志數(shù)據(jù)；

可疑語義為預(yù)設(shè)范圍內(nèi)的文件或數(shù)據(jù)或命令；