[發明專利]一種存儲事件日志自動過濾重復抖動數據的方法

有效

• 申請號: 201310055768.4
• 申請日: 2013-02-21
• 公開（公告）號: CN103164511B
• 公開（公告）日: 2017-02-08
• 發明（設計）人: 黃倩
• 申請（專利權）人: 烽火通信科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/14
• 代理公司: 北京捷誠信通專利事務所(普通合伙)11221
• 代理人: 魏殿紳,龐炳良

技術領域

本發明涉及抖動數據的檢測及濾除，具體說是一種存儲事件日志自動過濾重復抖動數據的方法。

背景技術

當前電信設備朝著高速、高效的方向發展，長期不間斷的運行，難免會出現意想不到的特殊狀況，也許有些異常現象一閃而過，并未及時被人們發覺，但經過長時間的累積，或多或少會對系統造成影響，所以自動記錄設備異常信息變得尤為重要，然而龐大的數據量對后期原因分析帶來極大的不便，如何有效合理的規劃異常信息的存儲更值得重視。由此，事件日志規范性存儲得以誕生。我們把這些異常信息作為事件日志記錄逐條進行分類存儲形成事件日志，同時增加時間戳，龐大的數據得以有效的管理。

經過實際測試驗證，盡管任意一條事件日志記錄都能瞬間記錄，但堆積了大量重復冗余的數據，即重復抖動數據，亦可簡稱為抖動數據，這不僅對設備存儲容量造成威脅，也大大降低了問題定位及原因分析的效率。

事件日志存儲過程如圖1所示，一條全新的事件日志記錄從產生到存儲要經過三個階段：事件日志記錄進入消息隊列等候，分析事件日志記錄，存儲事件日志記錄形成事件日志。事件日志記錄經過分析，會插入存儲介質的適當位置。然而大量抖動的事件日志記錄所帶來的數據冗余，不僅對問題分析毫無價值，還給存儲介質帶來嚴重負擔。所謂抖動數據即一定時間間隔內重復出現的相同記錄。如果單純的通過記錄間的一一比較判斷其是否為抖動數據，不僅耗時，而且頻繁的訪問硬件存儲介質還會減少硬件壽命，最終會延誤系統的整體運作。

發明內容

針對現有技術中存在的缺陷，本發明的目的在于提供一種存儲事件日志自動過濾重復抖動數據的方法，在形成事件日志的分析階段，通過增加有效的抖動數據過濾算法，廢棄傳統的數據遍歷比較算法，高效過濾抖動數據，減少冗余數據。

為達到以上目的，本發明采取的技術方案是：

一種存儲事件日志自動過濾重復抖動數據的方法，其特征在于：設置兩層過濾，當從消息隊列中取出等候分析的記錄時，通過第一層過濾篩選出正常的事件日志記錄，并將正常的事件日志記錄送入記錄緩存，節省逐一比較的時間；然后對經過第一層過濾后剩余的從消息隊列中取出的等候分析的記錄，再通過第二層過濾舍棄掉抖動數據，減少數據的冗余度，將經過第二層過濾后剩余的事件日志記錄送入非易失性存儲介質；

當經過一段預先約定的定時時間后，將記錄緩存內的數據依次按類型存儲到相應的存儲區。

在上述技術方案的基礎上，事件日志記錄增加字段標記抖動次數以及抖動時長，當通過第二層過濾舍棄掉抖動數據時，計算抖動次數以及抖動時長并寫入相應的事件日志記錄的對應字段內。

在上述技術方案的基礎上，設置時間數組，保存各類型事件日志存儲的最后時間，以此作為第一層過濾條件；

增加一個臨時的記錄緩存，通過小范圍的遍歷篩選作為第二層過濾條件，遍歷采用從后向前的方式，減少比較次數。

在上述技術方案的基礎上，為了避免臨時的記錄緩存溢出，實現實時獲取事件記錄，啟用看門狗，定時同步臨時的記錄緩存到非易失性存儲介質。

本發明所述的存儲事件日志自動過濾重復抖動數據的方法，在形成事件日志的分析階段，通過增加有效的抖動數據過濾算法，廢棄傳統的數據遍歷比較算法，高效過濾抖動數據，減少冗余數據。具有以下有益效果：

一，算法可以高效過濾抖動數據，無需人工干預，節省人力物力。

二，減少冗余數據，增大存儲空間，為后期數據分析提供便利。

三，算法層次清晰明了，易于后期維護與擴展。

附圖說明

本發明有如下附圖：

圖1：事件日志存儲過程，

圖2：分析階段兩層過濾，

圖3：抖動數據算法流程。

具體實施方式

以下結合附圖對本發明作進一步詳細說明。

如圖2所示，本發明所述的存儲事件日志自動過濾重復抖動數據的方法，設置兩層過濾，當從消息隊列（亦稱為事件日志隊列）中取出等候分析的記錄（事件日志記錄）時，通過第一層過濾篩選出正常的事件日志記錄，并將正常的事件日志記錄送入記錄緩存，節省逐一比較的時間；然后對經過第一層過濾后剩余的從消息隊列中取出的等候分析的記錄，再通過第二層過濾舍棄掉抖動數據，減少數據的冗余度，將經過第二層過濾后剩余的事件日志記錄送入非易失性存儲介質（按類型存儲到相應的存儲區）。

當經過一段預先約定的定時時間（通過看門狗實現此功能）后，即可將記錄緩存內的數據依次按類型存儲到相應的存儲區（指非易失性存儲介質中的存儲區）。