[發(fā)明專利]一種通過有限狀態(tài)機(jī)對(duì)日志進(jìn)行自動(dòng)采集融合的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110395569.2
• 申請(qǐng)日: 2021-04-13
• 公開（公告）號(hào): CN113076107A
• 公開（公告）日: 2021-07-06
• 發(fā)明（設(shè)計(jì)）人: 張召
• 申請(qǐng)（專利權(quán)）人: 杭州又拍云科技有限公司
• 主分類號(hào): G06F8/41
• 分類號(hào): G06F8/41
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 陳升華

1.一種通過有限狀態(tài)機(jī)對(duì)日志進(jìn)行自動(dòng)采集融合的方法，其特征在于，包括以下步驟：

1)日志采集數(shù)據(jù)壓縮，具體包括：

1.1)獲取日志采集數(shù)據(jù)；

1.2)分別對(duì)所述日志采集數(shù)據(jù)中各屬性字段的各屬性值進(jìn)行編碼，得到與每個(gè)屬性值對(duì)應(yīng)的Lua代碼；

1.3)使用得到的所述Lua代碼，替換所述日志采集數(shù)據(jù)中對(duì)應(yīng)的屬性值，得到壓縮后的日志采集數(shù)據(jù)；

2)日志采集數(shù)據(jù)解壓縮。

2.根據(jù)權(quán)利要求1所述的通過有限狀態(tài)機(jī)對(duì)日志進(jìn)行自動(dòng)采集融合的方法，其特征在于，步驟1.2)中，各屬性字段可以包括：接入點(diǎn)名稱、歸屬基站ID、IP、URL。

3.根據(jù)權(quán)利要求1所述的通過有限狀態(tài)機(jī)對(duì)日志進(jìn)行自動(dòng)采集融合的方法，其特征在于，步驟1.2)中，編碼具體包括：

1.2.1)分別統(tǒng)計(jì)該屬性字段的各屬性值在所述日志采集數(shù)據(jù)中出現(xiàn)的次數(shù)；

1.2.2)根據(jù)各屬性值在所述日志采集數(shù)據(jù)中出現(xiàn)的次數(shù)，對(duì)該屬性字段的各屬性值進(jìn)行編碼，得到與各屬性值分別對(duì)應(yīng)的Lua代碼，其中，出現(xiàn)的次數(shù)大的屬性值對(duì)應(yīng)的Lua代碼的數(shù)據(jù)量，不大于出現(xiàn)的次數(shù)小的屬性值對(duì)應(yīng)的Lua代碼的數(shù)據(jù)量。

4.根據(jù)權(quán)利要求3所述的通過有限狀態(tài)機(jī)對(duì)日志進(jìn)行自動(dòng)采集融合的方法，其特征在于，步驟1.2.2)中，根據(jù)各屬性值在所述日志采集數(shù)據(jù)中出現(xiàn)的次數(shù)，對(duì)該屬性字段的各屬性值進(jìn)行編碼，得到與各屬性值分別對(duì)應(yīng)的Lua代碼，具體包括：

1.2.2.1)根據(jù)各屬性值在所述日志采集數(shù)據(jù)中出現(xiàn)的次數(shù)，構(gòu)建抽象語法樹，其中，所述抽象語法樹中的各葉子節(jié)點(diǎn)，分別對(duì)應(yīng)表征各屬性值在所述日志采集數(shù)據(jù)中出現(xiàn)的次數(shù)，且所述抽象語法樹中的父節(jié)點(diǎn)表征的數(shù)值，為該父節(jié)點(diǎn)的兩個(gè)子節(jié)點(diǎn)表征數(shù)值的和值，且所述抽象語法樹中每個(gè)節(jié)點(diǎn)表征的數(shù)值，不小于該節(jié)點(diǎn)所屬等級(jí)的下一級(jí)節(jié)點(diǎn)表征的數(shù)值；

1.2.2.2)確定所述抽象語法樹中葉子節(jié)點(diǎn)對(duì)應(yīng)的屬性值的Lua代碼，將從根節(jié)點(diǎn)到該葉子節(jié)點(diǎn)的路徑所包括的各子樹分別對(duì)應(yīng)的弧值，進(jìn)行排列得到的二進(jìn)制編號(hào)，其中，所述抽象語法樹中節(jié)點(diǎn)的左子樹的弧值為0，右子樹的弧值為1；或者所述抽象語法樹中節(jié)點(diǎn)的左子樹的弧值為1，右子樹的弧值為0。

5.根據(jù)權(quán)利要求1所述的通過有限狀態(tài)機(jī)對(duì)日志進(jìn)行自動(dòng)采集融合的方法，其特征在于，步驟2)中，日志采集數(shù)據(jù)解壓縮具體包括：

2.1)獲取壓縮后的日志采集數(shù)據(jù)和未壓縮的日志采集數(shù)據(jù)中各屬性字段的各屬性值的編碼表；

2.2)使用所述編碼表中與各Lua代碼分別對(duì)應(yīng)的屬性值，替換所述壓縮后的日志采集數(shù)據(jù)中對(duì)應(yīng)的Lua代碼，得到解壓縮后的日志采集數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的通過有限狀態(tài)機(jī)對(duì)日志進(jìn)行自動(dòng)采集融合的方法，其特征在于，步驟2.1)中，所述編碼表中包括與各壓縮字段分別對(duì)應(yīng)的抽象語法樹，且每個(gè)抽象語法樹中的各葉子節(jié)點(diǎn)，分別對(duì)應(yīng)該抽象語法樹對(duì)應(yīng)屬性字段的各屬性值，且該抽象語法樹中節(jié)點(diǎn)的左子樹的弧值為0，右子樹的弧值為1，或者該抽象語法樹中節(jié)點(diǎn)的左子樹的弧值為1，右子樹的弧值為0。

7.根據(jù)權(quán)利要求5所述的通過有限狀態(tài)機(jī)對(duì)日志進(jìn)行自動(dòng)采集融合的方法，其特征在于，步驟2.2)中，使用所述編碼表中與各Lua代碼分別對(duì)應(yīng)的屬性值，替換所述壓縮后的日志采集數(shù)據(jù)中對(duì)應(yīng)的Lua代碼，具體包括：

2.2.1)針對(duì)所述壓縮后的日志采集數(shù)據(jù)中的每個(gè)屬性字段的每個(gè)Lua代碼，查詢?cè)搶傩宰侄螌?duì)應(yīng)的抽象語法樹，確定該屬性字段的該Lua代碼對(duì)應(yīng)的葉子節(jié)點(diǎn)，其中，將從根節(jié)點(diǎn)到該對(duì)應(yīng)的葉子節(jié)點(diǎn)的路徑所包括的各子樹分別對(duì)應(yīng)的弧值，進(jìn)行排列得到的二進(jìn)制編號(hào)，與該Lua代碼相同；

2.2.2)使用該Lua代碼對(duì)應(yīng)的葉子節(jié)點(diǎn)對(duì)應(yīng)的屬性值，替換該壓縮后的日志采集數(shù)據(jù)中的該Lua代碼。