[發明專利]一種跟蹤帶日志的存儲方法及系統

在審

• 申請號: 202110648797.6
• 申請日: 2021-06-10
• 公開（公告）號: CN113312353A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 朱敬茹;李湘濱;喬玉潔;張紅宇;蔡盛
• 申請（專利權）人: 中國民航信息網絡股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/2458
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 魯麗美

1.一種跟蹤帶日志的存儲方法，其特征在于，包括：

調用獨立的日志采集進程采集跟蹤帶日志，并按預設格式將所述跟蹤帶日志存儲到kafka相應的主題中；

將kafka中相同格式不同主題的所述跟蹤帶日志數據，基于預分區存儲到HBase中相應日期的主表、一級索引表和二級索引表中，所述主表存儲所述跟蹤帶日志的控制頭、擴展區和內容區的字段，所述一級索引表存儲所述跟蹤帶日志中預設字段與日期的組合的哈希值，所述二級索引表存儲所述跟蹤帶日志的擴展區的字段。

2.根據權利要求1所述的方法，其特征在于，所述按預設格式將所述跟蹤帶日志存儲到kafka相應的主題中，包括：

將所述跟蹤帶日志中的文件名、文件大小、記錄格式和通用字段轉換為統一預設格式，所述預設格式包括控制頭、擴展區和內容區；

將所述跟蹤帶日志按所述預設格式存儲到kafka相應的主題中。

3.根據權利要求1所述的方法，其特征在于，所述將kafka中相同格式不同主題的所述跟蹤帶日志數據，基于預分區存儲到HBase中相應日期的主表、一級索引表和二級索引表中，包括：

根據kafka中相同格式不同主題的所述跟蹤帶日志數據的日期，確定所述跟蹤帶日志數據存儲在HBase中的主表、一級索引表和二級索引表；

將所述跟蹤帶日志數據中的控制頭中的前綴值轉換為在預分區范圍內的前綴值，并將轉換后的前綴值、擴展區和內容區字段存儲到相應日期的主表中；

計算所述跟蹤帶日志數據中預設字段與日期的組合的哈希值，并將預設位置的哈希值作為rowkey存儲在相應日期的第一索引表中；

根據預分區的數量確定所述跟蹤帶日志數據中擴展區字段對應的字段代碼，并將擴展區字段對應的字段代碼作為rowkey存儲在相應日期的第二索引表中。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將HBase中合并文件的最小線程數調高到第一預設值，并將合并文件的最大線程數調低到第二預設值。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

開啟HBase中堆外內存記錄讀緩存。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

棄用JDK1.7下的G1GC；

增加幸存區對象回收比例。

7.一種跟蹤帶日志的存儲裝置，其特征在于，包括：

數據采集單元，用于調用獨立的日志采集進程采集跟蹤帶日志，并按預設格式將所述跟蹤帶日志存儲到kafka相應的主題中；

數據存儲單元，用于將kafka中相同格式不同主題的所述跟蹤帶日志數據，基于預分區存儲到HBase中相應日期的主表、一級索引表和二級索引表中，所述主表存儲所述跟蹤帶日志的控制頭、擴展區和內容區的字段，所述一級索引表存儲所述跟蹤帶日志中預設字段與日期的組合的哈希值，所述二級索引表存儲所述跟蹤帶日志的擴展區的字段。

8.根據權利要求7所述的裝置，其特征在于，所述數據采集單元，具體用于：

將所述跟蹤帶日志中的文件名、文件大小、記錄格式和通用字段轉換為統一預設格式，所述預設格式包括控制頭、擴展區和內容區；

將所述跟蹤帶日志按所述預設格式存儲到kafka相應的主題中。