[發明專利]一種日志文件的異常檢測與處理的方法與裝置

有效

• 申請號: 201610021281.8
• 申請日: 2016-01-13
• 公開（公告）號: CN105700989B
• 公開（公告）日: 2018-05-04
• 發明（設計）人: 鄒鳳蓮;陳靜
• 申請（專利權）人: 焦點科技股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 南京瑞弘專利商標事務所(普通合伙)32249
• 代理人: 陳建和

1.一種日志文件的異常檢測與處理的方法，其特征是包括如下步驟：

1）BI日志服務器日志與數據源MD5異常監控與處理，

（1）BI日志服務器日志與數據源MD5比對，檢測是否異常；運維打包掛載數據源日志文件與BI日志服務器下載日志時分別以相同的MD5加密方式給每個文件生成MD5值，并分別存至兩張表中，通過數據源文件的MD5值與BI日志服務器原始日志文件的MD5值比對就能判斷BI日志服務器日志是否與數據源文件一致，對于異常情況給出相應預警；

（2）處理BI日志服務器日志文件與數據源日志文件不一致的異常情況，

從數據源到BI日志服務器可能出現數據源異常、日志未掛到BI日志服務器、掛載的文件大小異常；對于數據源異常，需要聯系運維相關維護人員及時解決；對于日志未掛載到BI日志服務器以及掛載的文件大小異常，則BI部門需及時查看修復程序，并重新掛載；

2）BI日志服務器日志文件異常檢測與處理，

（1）檢測BI日志服務器日志文件是否出現異常，即使BI日志服務器日志與數據源一致，仍有可能出現其他異常；

文件數量異常：在業務不發生變化的情況下，每日的日志文件數量是固定的；當BI日志服務器上文件數量比以往出現偏多或偏少時，一方面是業務發生變化導致文件數量發生變化，另一方面也有可能是由于文件出現了命名或者打包錯誤，此時需結合文件命名錯誤、打包錯誤與人工判斷，根據業務作出判斷，對于異常情況給出相應預警；

文件大小異常：文件大小異常是隨著文件數量異常問題出現而存在的；通常為這個異常值設置一個閾值，當當日文件大小超過或低于比上一日的20%時給出預警提示，并結合文件數量一起判斷是否出現異常；

文件命名錯誤：文件名通常由業務主題、站點名、文件日期、打包時間組成，通過兩種方法識別文件命名錯誤：（1）從文件名判斷：當日凌晨打包的日志文件其業務發生時間通常都是前一日，此時文件名中的文件日期應為打包的前一日，若存在文件打包時間為當日凌晨且文件名上日期也為打包當日時則能判斷文件命名錯誤；（2）通過識別文件中的內容判斷：日志文件通常都記錄了業務發生的時間，通過比對文件名中的日期與文件內容中的業務發生日期判斷該日志文件是否命名錯誤；

文件打包錯誤：文件打包錯誤是指將屬于當天的日志文件打包到另外一天的文件中；日志文件打包后通常被放置在以業務發生日期命名的文件夾下；

與文件命名錯誤類似，文件打包錯誤也有兩種檢測方法：（1）通過文件夾名判斷；若某個不屬于該文件名日期的文件被放至該文件下時則出現了打包錯誤；（2）通過識別文件中的內容判斷， 當在該文件夾下有文件中存在非該文件夾日期下的記錄，或者文件中既存在該日期的又存在部分非該日期的記錄，則認為日志文件出現了打包錯誤；

通常文件命名錯誤與文件打包錯誤都是隨著文件數量異常同時存在，當判斷文件數量出現異常且非業務變化原因而引起時，需人工結合文件命名錯誤和文件打包錯誤共同判斷，對于異常情況給出相應的預警提示；

（2）BI日志服務器日志文件異常處理，

當對BI日志服務器日志文件進行異常檢測并發現異常后需要及時處理；對于文件數量異常，需結合文件命名錯誤以及文件打包錯誤一起處理；當出現命名錯誤時需要對文件重新命名，當出現文件打包錯誤時需重新對日志文件進行打包；而文件大小異常則需結合文件數量異常判斷，當文件數量正確時文件大小也會相應正常；

3）HDFS文件異常檢測與處理

（1）HDFS文件異常檢測

日志文件從BI日志服務器PUT到HDFS上的過程中，會出現文件未PUT到HDFS或者HDFS上的文件不全的問題；將HDFS上的文件信息存至一張表中，通過與BI日志服務器表中的日志信息進行對比，能發現異常，若有異常，則給出預警信息；

（2）HDFS日志文件異常處理

對于HDFS文件異常，只需將日志文件從BI日志服務器重新PUT到HDFS即可解決；若重新PUT后還未解決，則是PUT程序有異常或者BI日志服務器上日志有異常，這種情況需結合上文BI日志服務器日志文件異常檢測與處理解決；

4）目標表數據量異常監控與處理

日志文件的最終去處是經HADOOP程序解析到目標表中；因此，為確保最終的數據是完整并準確的，需對目標表的數據量進行監控，以便及時發現并修復HADOOP程序中可能出現的Bug；

該步驟需將目標表或其衍生表配置成監控表，每日監控表的數據量，并為其設置閾值；當目標表數據量超過或低于前一天或上周同一天的50%時，給出相關預警。