[發(fā)明專利]日志處理方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910914657.1
• 申請(qǐng)日: 2019-09-26
• 公開（公告）號(hào): CN112559474A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 汪少敏;阮宜龍;王錚;楊迪;任華
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電信股份有限公司
• 主分類號(hào): G06F16/18
• 分類號(hào): G06F16/18;G06F16/33;G06F40/279
• 代理公司: 中國(guó)貿(mào)促會(huì)專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 趙倩男

1.一種日志處理方法，包括：

利用停用詞庫對(duì)樣本日志文件進(jìn)行分詞處理，得到所述樣本日志文件中的多個(gè)詞語；

對(duì)所述多個(gè)詞語進(jìn)行詞頻統(tǒng)計(jì)，將詞頻數(shù)大于詞頻閾值的詞語作為高頻詞；

將所述樣本日志文件中連續(xù)出現(xiàn)的預(yù)定個(gè)數(shù)的高頻詞，作為高頻詞組；

計(jì)算每個(gè)所述高頻詞組與標(biāo)點(diǎn)組合的加權(quán)概率；

根據(jù)加權(quán)概率大于概率閾值的高頻詞組與標(biāo)點(diǎn)組合，構(gòu)建日志模版；

根據(jù)所述日志模版，提取日志數(shù)據(jù)中的關(guān)鍵信息。

2.根據(jù)權(quán)利要求1所述的日志處理方法，還包括：

驗(yàn)證每個(gè)所述高頻詞組中詞語間的關(guān)聯(lián)性；

計(jì)算具有關(guān)聯(lián)性的詞組構(gòu)成的高頻詞組與標(biāo)點(diǎn)組合的加權(quán)概率。

3.根據(jù)權(quán)利要求2所述的日志處理方法，其中，計(jì)算具有關(guān)聯(lián)性的詞組構(gòu)成的高頻詞組與標(biāo)點(diǎn)組合的加權(quán)概率包括：

統(tǒng)計(jì)所述具有關(guān)聯(lián)性的詞組構(gòu)成的高頻詞組的前后出現(xiàn)標(biāo)點(diǎn)的概率；

確定對(duì)應(yīng)標(biāo)點(diǎn)的權(quán)值；

將所述出現(xiàn)標(biāo)點(diǎn)的概率與對(duì)應(yīng)標(biāo)點(diǎn)的權(quán)值之積，作為所述具有關(guān)聯(lián)性的詞組構(gòu)成的高頻詞組與標(biāo)點(diǎn)組合的加權(quán)概率。

4.根據(jù)權(quán)利要求2所述的日志處理方法，其中，驗(yàn)證每個(gè)所述高頻詞組中詞語間的關(guān)聯(lián)性包括：

將每個(gè)所述高頻詞組中的詞語進(jìn)行卡方驗(yàn)證，確定每個(gè)所述高頻詞組中詞語間的關(guān)聯(lián)性。

5.根據(jù)權(quán)利要求1所述的日志處理方法，其中，將連續(xù)出現(xiàn)的預(yù)定個(gè)數(shù)的高頻詞，作為高頻詞組包括：

將預(yù)定個(gè)數(shù)的高頻詞作為組合，統(tǒng)計(jì)在所述樣本日志文件中，所述組合出現(xiàn)的頻率；

將出現(xiàn)頻率大于頻率閾值的組合，作為高頻詞組。

6.根據(jù)權(quán)利要求1-5任一所述的日志處理方法，其中，所述停用詞庫中不包含標(biāo)點(diǎn)符合和空格。

7.一種日志處理裝置，包括：

分詞處理單元，被配置為利用停用詞庫對(duì)樣本日志文件進(jìn)行分詞處理，得到所述樣本日志文件中的多個(gè)詞語；

高頻詞確定單元，被配置為對(duì)所述多個(gè)詞語進(jìn)行詞頻統(tǒng)計(jì)，將詞頻數(shù)大于詞頻閾值的詞語作為高頻詞；

高頻詞組確定單元，被配置為將所述樣本日志文件中連續(xù)出現(xiàn)的預(yù)定個(gè)數(shù)的高頻詞，作為高頻詞組；

加權(quán)概率確定單元，被配置為計(jì)算每個(gè)所述高頻詞組與標(biāo)點(diǎn)組合的加權(quán)概率；

日志模版構(gòu)建單元，被配置為根據(jù)加權(quán)概率大于概率閾值的高頻詞組與標(biāo)點(diǎn)組合，構(gòu)建日志模版；

關(guān)鍵信息提取單元，被配置為根據(jù)所述日志模版，提取日志數(shù)據(jù)中的關(guān)鍵信息。

8.根據(jù)權(quán)利要求7所述的日志處理裝置，還包括：

關(guān)聯(lián)性驗(yàn)證單元，被配置為驗(yàn)證每個(gè)所述高頻詞組中詞語間的關(guān)聯(lián)性；

其中，所述加權(quán)概率確定單元被配置為計(jì)算具有關(guān)聯(lián)性的詞組構(gòu)成的高頻詞組與標(biāo)點(diǎn)組合的加權(quán)概率。

9.一種日志處理裝置，包括：

存儲(chǔ)器；以及

耦接至所述存儲(chǔ)器的處理器，所述處理器被配置為基于存儲(chǔ)在所述存儲(chǔ)器的指令執(zhí)行如權(quán)利要求1至6任一項(xiàng)所述的日志處理方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，該指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至6任一項(xiàng)所述的日志處理方法。