[發明專利]一種網站日志壓縮方法及裝置

有效

• 申請號: 202110487122.8
• 申請日: 2021-05-04
• 公開（公告）號: CN113297154B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 李傳詠;盧穎;趙莉;陳寧;李玲
• 申請（專利權）人: 西安博達軟件股份有限公司
• 主分類號: G06F16/174
• 分類號: G06F16/174;G06F16/18
• 代理公司: 北京麥匯智云知識產權代理有限公司 11754
• 代理人: 吳云

1.一種網站日志壓縮方法，其特征在于，包括如下步驟：

對待壓縮網站日志中每個字段的類型進行判斷，以得到類型判斷結果；

根據所述類型判斷結果，將每個所述字段分別輸入至對應的預置模型中，以得到每個所述字段的字段壓縮結果；

建立每個所述字段壓縮結果的位置索引，以得到日志壓縮結果；

所述將每個所述字段分別輸入至對應的預置模型中的步驟之后，所述方法還包括：

當所述類型判斷結果為第一類型時，將所述字段輸入至第一模型中，第一類型字段屬于字段中完全重復內容非常多的字段；

統計所述字段中每個不同行內容的重復次數，以得到重復次數；

根據所述重復次數，對每個所述不同行內容進行編碼，以得到第一編碼結果；

利用所述第一編碼結果替換所述字段的行內容，以得到第一數據流；

所述將每個所述字段分別輸入至對應的預置模型中的步驟之后，所述方法還包括：

當所述類型判斷結果為第二類型時，將所述字段輸入至第二模型中，第二類型的字段屬于字段中行內容的大部分字符串是相同的；

將所述字段的每個行內容分為第一字符串和第二字符串，統計每個所述第一字符串的重復數量，以得到重復數量；

根據所述重復數量，對每個所述第一字符串進行編碼，以得到第二編碼結果；

利用所述第二編碼結果替換所述第一字符串，以得到第二數據流；

所述將每個所述字段分別輸入至對應的預置模型中的步驟之后，所述方法還包括：

當所述類型判斷結果為第三類型時，將所述字段輸入至第三模型中，第三類型的字段屬于時間序列或者是有規律的數據序列；

計算所述字段中相鄰兩行的時間差，以得到多個所述時間差；

統計每個所述時間差的重復頻數，以得到重復頻數；

根據所述重復頻數，對所述時間差進行編碼，以得到第三編碼結果；

根據所述第三編碼結果，以得到第三數據流；

該編碼的方式為哈夫曼編碼。

2.根據權利要求1所述的網站日志壓縮方法，其特征在于，所述對待壓縮網站日志中每個字段的類型進行判斷的步驟之前，所述方法還包括：

獲取待壓縮網站日志。

3.一種網站日志壓縮裝置，其特征在于，包括：

類型判斷模塊，用于對待壓縮網站日志中每個字段的類型進行判斷，以得到類型判斷結果；

字段壓縮模塊，用于根據所述類型判斷結果，將每個所述字段分別輸入至對應的預置模型中，以得到每個所述字段的字段壓縮結果；

日志壓縮模塊，用于建立每個所述字段壓縮結果的位置索引，以得到日志壓縮結果；

所述字段壓縮模塊包括：

第一類型輸入單元，用于當所述類型判斷結果為第一類型時，將所述字段輸入至第一模型中，第一類型字段屬于字段中完全重復內容非常多的字段；

重復次數統計單元，用于統計所述字段中每個不同行內容的重復次數，以得到重復次數；

第一編碼單元，用于根據所述重復次數，對每個所述不同行內容進行編碼，以得到第一編碼結果；

得到第一數據流單元，用于利用所述第一編碼結果替換所述字段的行內容，以得到第一數據流；

第二類型輸入單元，用于當類型判斷結果為第二類型時，將字段輸入至第二模型中，第二類型的字段屬于字段中行內容的大部分字符串是相同的；

重復數量統計單元，用于將字段的每個行內容分為第一字符串和第二字符串，統計每個第一字符串的重復數量，以得到重復數量；

第二編碼單元，用于根據重復數量，對每個第一字符串進行編碼，以得到第二編碼結果；

得到第二數據流單元，用于利用第二編碼結果替換第一字符串，以得到第二數據流；

第三類型輸入單元，用于當類型判斷結果為第三類型時，將字段輸入至第三模型中，第三類型的字段屬于時間序列或者是有規律的數據序列；

時間差計算單元，用于計算字段中相鄰兩行的時間差，以得到多個時間差；

重復頻數統計單元，用于統計每個時間差的重復頻數，以得到重復頻數；

第三編碼單元，用于根據重復頻數，對時間差進行編碼，以得到第三編碼結果；

得到第三數據流單元，用于根據第三編碼結果，以得到第三數據流，該編碼的方式為哈夫曼編碼。