[發(fā)明專利]消除重復(fù)日志記錄的過濾方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710778717.2
• 申請(qǐng)日: 2017-09-01
• 公開（公告）號(hào): CN110019064A
• 公開（公告）日: 2019-07-16
• 發(fā)明（設(shè)計(jì)）人: 師敏華;張培良
• 申請(qǐng)（專利權(quán)）人: 大唐移動(dòng)通信設(shè)備有限公司
• 主分類號(hào): G06F16/18
• 分類號(hào): G06F16/18
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王瑩;李官

本發(fā)明實(shí)施例提供了一種消除重復(fù)日志記錄的過濾方法及裝置，該方法中，通信設(shè)備可以調(diào)取日志記錄，并判斷調(diào)取日志的類型，如果獲知該日志為預(yù)設(shè)類型的日志則繼續(xù)判斷本地緩沖區(qū)中也是否存儲(chǔ)有與之相匹配的日志。若有，則將緩沖區(qū)中存儲(chǔ)的匹配日志的重復(fù)次數(shù)加1并拋棄該調(diào)取日志；若沒有，則將其加入到緩沖區(qū)中，并將重復(fù)次數(shù)置為1。通過這樣將日志進(jìn)行類型的規(guī)劃同時(shí)過濾重復(fù)日志的方式能夠避免日志記錄中的重復(fù)記錄，在不影響根據(jù)日志分析設(shè)備問題的同時(shí)大幅度減少日志記錄的數(shù)量，降低存儲(chǔ)日志的開銷，尤其適用于日志風(fēng)暴的情形中。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及通信技術(shù)領(lǐng)域，具體涉及一種消除重復(fù)日志記錄的過濾方法及裝置。

背景技術(shù)

很多通信主設(shè)備都是一種由多個(gè)單板組成的分布式系統(tǒng)，在整個(gè)系統(tǒng)中，有一塊全局控制板，其他的單板被稱為外圍板。通常情況下，處于成本等各方面的需要，外圍單板不會(huì)部署大容量的磁盤存儲(chǔ)系統(tǒng)，而只有全局控制板上才會(huì)部署大容量的磁盤，用來(lái)保存設(shè)備的相關(guān)信息，這其中就包括系統(tǒng)的日志文件。在這種大型通信設(shè)備中，會(huì)記錄程序異常或者有意義的運(yùn)行日志，以便對(duì)設(shè)備進(jìn)行日常的檢查或者問題的分析定位。

然而，在實(shí)現(xiàn)發(fā)明創(chuàng)造的過程中，發(fā)明人發(fā)現(xiàn)，在通常的實(shí)踐應(yīng)用中發(fā)現(xiàn)，日志文件中經(jīng)常記錄了大量的重復(fù)信息，這些重復(fù)信息往往都是由于某個(gè)單點(diǎn)故障導(dǎo)致程序短時(shí)間內(nèi)循環(huán)記錄的異常信息。這些大量重復(fù)的信息對(duì)于設(shè)備問題的分析幾乎沒有任何意義，不但增加了設(shè)備板間的通信壓力，并且也增加了磁盤空間壓力以及寫磁盤時(shí)所消耗的其他資源。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種用于消除重復(fù)日志記錄的過濾方法及裝置。

第一方面，本發(fā)明實(shí)施例提供了一種消除重復(fù)日志記錄的過濾方法，包括：

調(diào)取日志記錄，并根據(jù)日志記錄中日志類型字段判斷調(diào)取的日志的類型；

若所述調(diào)取的日志為預(yù)設(shè)類型日志，則掃描本地緩沖區(qū)存儲(chǔ)的預(yù)設(shè)類型日志中是否存在與所述調(diào)取的日志匹配的日志；

若存在，則將緩沖區(qū)中匹配的日志的重復(fù)次數(shù)字段加1，并丟棄所述調(diào)取的日志；若不存在，則將所述調(diào)取的日志加入到緩沖區(qū)中，并將所述調(diào)取的日志的重復(fù)次數(shù)字段置為1。

可選地，所述預(yù)設(shè)類型的日志為描述日志或動(dòng)態(tài)日志；

所述描述日志為只包含描述信息、不包含可變參數(shù)信息的日志；在所述預(yù)設(shè)類型日志為描述日志時(shí)，所述匹配的日志為與所述調(diào)取的日志的描述信息字段相匹配的日志；

所述動(dòng)態(tài)日志為即包含描述信息、又包含可變參數(shù)信息的日志；在所述預(yù)設(shè)類型的日志為動(dòng)態(tài)日志時(shí)，所述匹配的日志為與所述調(diào)取的日志的描述信息字段以及參數(shù)信息字段均匹配的日志。

可選地，所述方法應(yīng)用于分布式通信設(shè)備的外圍單板中，所述分布式通信設(shè)備還包括全局控制板；

所述方法還包括：

在所述外圍單板處，在所述緩沖區(qū)已滿或定時(shí)寫盤時(shí)間已到時(shí)，將緩沖區(qū)中緩存的日志記錄發(fā)送至所述全局控制板。

可選地，所述方法還包括：在所述全局控制板處，執(zhí)行如下步驟：

接收到外圍單板發(fā)送的日志；

根據(jù)日志記錄中日志類型字段判斷接收的日志的類型；

若所述接收的日志為預(yù)設(shè)類型日志，則掃描本地緩沖區(qū)存儲(chǔ)的預(yù)設(shè)類型日志中是否存在與所述調(diào)取的日志匹配的日志；

若存在，則將緩沖區(qū)中匹配的日志的重復(fù)次數(shù)與所述接收的日志攜帶的重復(fù)次數(shù)相加，并丟棄所述接收的日志；若不存在，則將所述接收的日志加入到緩沖區(qū)中，并將所述接收的日志的重復(fù)次數(shù)字段置為所述接收的日志攜帶的重復(fù)次數(shù)。

可選地，所述預(yù)設(shè)類型的日志為描述日志或動(dòng)態(tài)日志；