[發明專利]一種基于變長記錄的安全日志壓縮存儲和檢索方法

有效

• 申請號: 201811035532.3
• 申請日: 2018-09-06
• 公開（公告）號: CN109165144B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 陳虎;唐開達
• 申請（專利權）人: 南京聚銘網絡科技有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/13;G06F16/14;G06F16/174;G06F16/18
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 杜靜靜

1.一種基于變長記錄的安全日志壓縮存儲和檢索方法，其特征在于，所述方法包括以下步驟：

步驟1：?搭建日志收取環境；

步驟2：獲取日志中模式分布數據；

步驟3：對模式中的固定部份進行變長編碼；

步驟4：建立固定模式中的單詞索引；

步驟5:對模式中的變化部分進行變長編碼并建立索引；

步驟6：根據固定部份和變長部份進行日志的還原；

步驟7：根據固定部份和變長部份及與索引關系進行檢索；

所述步驟1，搭建日志收取環境；具體如下，

首先，對于一條日志的模式識別是基于它來源的系統或設備，再通過這種系統或設備所包含的模式對其進行匹配和抽取，匹配和抽取的工具均是基于PCRE正則表達式庫，日志來源的系統或設備是由用戶在系統界面上進行配置，其配置的主要輸入項就是來源的IP地址，通過Syslog服務器獲取的源IP；

所述步驟2：獲取日志中模式分布數據具體如下：對歷史上相關原始日志的解析情況進行統計和分析，對于每種設備及其相關模式的占比情況標注比率即百分比；標注的方法就是先分設備再分模式，設備的所有模式累加為100%；

所述步驟3：對模式中的固定部份進行變長編碼具體如下，對于一個系統的登錄日志而言，由于其在日志中占比最高，故將其定位為系統或設備的第一個模式，其固定模式編碼為0x0101；而變化部分分別是日期時間、登錄用戶名、登錄源IP地址及登錄的源端口；每種模式中變化的部分需被從原始日志中抽取，抽取的模式數量根據正則表達式獲得；

所述步驟4：建立固定模式中的單詞索引，具體如下，建立固定模式編碼和其分詞的索引關系；針對登錄日志，抽取其中login、sshd登錄方式、Accepted接受登陸、password、port源端口固定部分建立索引；

所述步驟5:對模式中的變化部分進行變長編碼并建立索引，具體如下：需針對變化部分的類型，對于可變長編碼的類型，其離散程度在實際運行環境中需要進行評估，

日期時間：將字符方式的日期時間轉換為固定4個字節的整型，其含義為自1970年1月1日以來的秒數；

IPv4地址：將IPv4地址按2-4字節方式進行編碼，短編碼的第一字節為C類網段，第二個字節為主機編碼；而長編碼的第一及第二字節為C類網段，第三和第四字節為主機編碼；

端口：直接采用原始固定兩字節編碼；

協議名：采用1字節固定編碼，

應用協議名：應用協議是經過數據包深度識別獲取的，其數量在上百到幾千之間，故采用1-2字節變長編碼，常用應用協議使用1字節，非常用應用協議使用2字節編碼方式，第一個字節的最高位為0時為短編碼，而為1時則是長編碼；

用戶名或郵箱名稱：考慮到企業應用情況，使用1-2字節變長編碼，

程序名：使用1-2字節變長編碼，

服務名：使用1-2字節變長編碼，

進程名：使用1-2字節變長編碼，

主機名包括域名：使用2-4字節變長編碼，

日志類型和日志子類：采用3字節定長編碼，第一個字節為大類，第二、三個字節為子類，不再采用原始文本；

所述步驟6：根據固定部份和變長部份進行日志的還原；具體如下，從日志的模式編碼中獲取相關模式信息；由于模式編碼的唯一性和長度為2-4字節，故獲取模式信息較為容易，即如獲取設備或類型編碼僅需查看第一字節的最高位，如其為0則編碼長度為一個字節，否則為兩個字節；而模式編碼與此類似，即如最高位為0則模式編碼長度為一個字節，否則為兩個字節；根據模式中定義各個變化內容，再根據相關變動的內容類型，通過編碼獲取相關原始內容，將原始內容插入模式相關的占位信息中；

所述步驟7：根據固定部份和變長部份及與索引關系進行檢索，具體如下，當用戶輸入某個或某些關鍵詞進行搜索時，系統應根據兩個索引的相關內容聯合進行檢索。