[發(fā)明專利]一種跟蹤帶日志的存儲方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110648797.6
• 申請日: 2021-06-10
• 公開（公告）號: CN113312353A
• 公開（公告）日: 2021-08-27
• 發(fā)明（設計）人: 朱敬茹;李湘濱;喬玉潔;張紅宇;蔡盛
• 申請（專利權）人: 中國民航信息網(wǎng)絡股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/2458
• 代理公司: 北京集佳知識產(chǎn)權代理有限公司 11227
• 代理人: 魯麗美

本發(fā)明提供了一種跟蹤帶日志的存儲方法及裝置，在應用層重新設計數(shù)據(jù)存儲表，HBase的數(shù)據(jù)存儲表包括主表、一級索引表和二級索引表?；陬A分區(qū)將跟蹤帶日志數(shù)據(jù)存儲到主表、一級索引表和二級索引表中，減少總的數(shù)據(jù)存儲量，但不降低信息量。主表存儲跟蹤帶日志的控制頭、擴展區(qū)和內(nèi)容區(qū)的字段，一級索引表存儲跟蹤帶日志中預設字段與日期的組合的哈希值，二級索引表存儲跟蹤帶日志的擴展區(qū)的字段，實現(xiàn)跟蹤帶日志在HBase中主鍵均勻分布，避免熱點問題的發(fā)生，解決由于熱點問題導致的寫入延遲、讀取緩慢的問題。

技術領域

本發(fā)明涉及計算機技術領域，更具體的，涉及一種跟蹤帶日志的存儲方法及系統(tǒng)。

背景技術

中國航信業(yè)務系統(tǒng)是民航信息化發(fā)展的核心，隨著民航業(yè)及IT技術的發(fā)展，中航信PSS系統(tǒng)越來越多的功能逐步從主機外移到開放系統(tǒng)，各個開放系統(tǒng)之間錯綜復雜，支撐著航信各業(yè)務的交易及服務等，這些系統(tǒng)每天都產(chǎn)生大量的日志數(shù)據(jù)，其中包含了大量的系統(tǒng)日志數(shù)據(jù)、用戶輸入輸出數(shù)據(jù)、交易數(shù)據(jù)及結(jié)果等，這些日志數(shù)據(jù)是用戶行為審計的基礎、是復雜業(yè)務故障分析的基礎。

為了便于對中國航信的主要應用進行日志審計、用戶行為分析等工作，對各開放系統(tǒng)的日志數(shù)據(jù)建立了一套全局跟蹤帶。全局跟蹤帶主要目的是在符合法律法規(guī)要求的前提下，滿足用戶和航信自身對行為數(shù)據(jù)的應用需求。全局跟蹤帶主要采集了中航信各開放系統(tǒng)的日志數(shù)據(jù)，日志數(shù)據(jù)日均增量10TB級，峰值可達20TB或更大。

現(xiàn)有技術中，跟蹤帶日志被統(tǒng)一采集推送至Kafka，解析后存儲至HBase，但是，跟蹤帶日志數(shù)據(jù)存儲至HBase時存在寫入延遲，讀取緩慢等問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了一種跟蹤帶日志的存儲方法及系統(tǒng)，解決了跟蹤帶日志寫入延遲，讀取緩慢的問題。

為了實現(xiàn)上述發(fā)明目的，提供該發(fā)明內(nèi)容部分以便以簡要的形式介紹構(gòu)思，這些構(gòu)思將在后面的具體實施方式部分被詳細描述。該發(fā)明內(nèi)容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

一種跟蹤帶日志的存儲方法，其特征在于，包括：

調(diào)用獨立的日志采集進程采集跟蹤帶日志，并按預設格式將所述跟蹤帶日志存儲到kafka相應的主題中；

將kafka中相同格式不同主題的所述跟蹤帶日志數(shù)據(jù)，基于預分區(qū)存儲到HBase中相應日期的主表、一級索引表和二級索引表中，所述主表存儲所述跟蹤帶日志的控制頭、擴展區(qū)和內(nèi)容區(qū)的字段，所述一級索引表存儲所述跟蹤帶日志中預設字段與日期的組合的哈希值，所述二級索引表存儲所述跟蹤帶日志的擴展區(qū)的字段。

一種跟蹤帶日志的存儲裝置，包括：

數(shù)據(jù)采集單元，用于調(diào)用獨立的日志采集進程采集跟蹤帶日志，并按預設格式將所述跟蹤帶日志存儲到kafka相應的主題中；

數(shù)據(jù)存儲單元，用于將kafka中相同格式不同主題的所述跟蹤帶日志數(shù)據(jù)，基于預分區(qū)存儲到HBase中相應日期的主表、一級索引表和二級索引表中，所述主表存儲所述跟蹤帶日志的控制頭、擴展區(qū)和內(nèi)容區(qū)的字段，所述一級索引表存儲所述跟蹤帶日志中預設字段與日期的組合的哈希值，所述二級索引表存儲所述跟蹤帶日志的擴展區(qū)的字段。

相對于現(xiàn)有技術，本發(fā)明的有益效果如下：

本發(fā)明公開的一種跟蹤帶日志的存儲方法，在應用層重新設計數(shù)據(jù)存儲表，數(shù)據(jù)存儲表包括主表、一級索引表和二級索引表?；陬A分區(qū)將跟蹤帶日志數(shù)據(jù)存儲到主表、一級索引表和二級索引表中，減少總的數(shù)據(jù)存儲量，但不降低信息量。主表存儲跟蹤帶日志的控制頭、擴展區(qū)和內(nèi)容區(qū)的字段，一級索引表存儲跟蹤帶日志中預設字段與日期的組合的哈希值，二級索引表存儲跟蹤帶日志的擴展區(qū)的字段，實現(xiàn)跟蹤帶日志在HBase中主鍵均勻分布，避免熱點問題的發(fā)生，解決由于熱點問題導致的寫入延遲、讀取緩慢的問題。

附圖說明