[發(fā)明專利]基于海量日志數(shù)據(jù)實(shí)時(shí)監(jiān)控的分散標(biāo)簽特征提取方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110318883.0
• 申請(qǐng)日: 2021-03-25
• 公開（公告）號(hào): CN113064791A
• 公開（公告）日: 2021-07-02
• 發(fā)明（設(shè)計(jì)）人: 王建寧
• 申請(qǐng)（專利權(quán)）人: 上海佰粒科技有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F16/18;G06F16/215;G06F16/2458
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了基于海量日志數(shù)據(jù)實(shí)時(shí)監(jiān)控的分散標(biāo)簽特征提取方法，包括以下步驟：S1.建立規(guī)范化的海量日志數(shù)據(jù)；S2.對(duì)海量日志數(shù)據(jù)進(jìn)行處理；S3.對(duì)處理后的海量日志數(shù)據(jù)進(jìn)行劃分；S4.通過劃分后的日志數(shù)據(jù)進(jìn)行監(jiān)控；S5.根據(jù)日志數(shù)據(jù)構(gòu)建標(biāo)簽特征；S6.將標(biāo)簽特征中關(guān)鍵信息的字符串轉(zhuǎn)換為正則表達(dá)式；S7.提取標(biāo)簽特征。本發(fā)明的提取方法，能夠通過海量日志數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)控，保證了數(shù)據(jù)信息的實(shí)時(shí)性和有效性，有利于數(shù)據(jù)信息的高效檢索及查詢，同時(shí)基于海量日志數(shù)據(jù)，建立了軟件運(yùn)行中正確的標(biāo)簽特征，便于維護(hù)人員的人工的檢查和理解，減少人工特征定義的失誤，降低頻繁修改的人力和時(shí)間成本。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及基于海量日志數(shù)據(jù)實(shí)時(shí)監(jiān)控的分散標(biāo)簽特征提取方法。

背景技術(shù)

現(xiàn)代軟件日益復(fù)雜，規(guī)模日益龐大，導(dǎo)致軟件維護(hù)成本攀升。分布式及異構(gòu)軟件系統(tǒng)的廣泛使用，使得人工的監(jiān)控軟件運(yùn)行狀態(tài)和發(fā)現(xiàn)運(yùn)行故障變得極為困難。日志是軟件運(yùn)行時(shí)不可或缺的輸出形式。為了盡早發(fā)現(xiàn)分布式系統(tǒng)的故障所在，減少潛在的宕機(jī)風(fēng)險(xiǎn)，大量的分布式系統(tǒng)通過實(shí)時(shí)的日志輸出保存運(yùn)行時(shí)軟件狀態(tài)，為維護(hù)人員提供數(shù)據(jù)基礎(chǔ)，然而市面上各種的基于海量日志數(shù)據(jù)實(shí)時(shí)監(jiān)控的分散標(biāo)簽特征提取方法仍存在各種各樣的問題。

如授權(quán)公告號(hào)為CN111259917A所公開的一種基于局部近鄰成分分析的圖像特征提取方法，其雖然實(shí)現(xiàn)了可以使得同類樣本的特征向量在低維空間中聚集，不同類樣本的特征向量在低維空間中分散，從而使得原始數(shù)據(jù)在低維空間中具備明顯的聚類結(jié)構(gòu)，能夠更加有效地用于圖像聚類和圖像檢索，但是并未解決現(xiàn)有的基于海量日志數(shù)據(jù)實(shí)時(shí)監(jiān)控的分散標(biāo)簽特征提取方法還存在一些問題：不能保證日志數(shù)據(jù)信息的實(shí)時(shí)性和有效性，同時(shí)不方便進(jìn)行檢查，為此我們提出基于海量日志數(shù)據(jù)實(shí)時(shí)監(jiān)控的分散標(biāo)簽特征提取方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供基于海量日志數(shù)據(jù)實(shí)時(shí)監(jiān)控的分散標(biāo)簽特征提取方法，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：基于海量日志數(shù)據(jù)實(shí)時(shí)監(jiān)控的分散標(biāo)簽特征提取方法，包括以下步驟：

S1.建立規(guī)范化的海量日志數(shù)據(jù)；

S2.對(duì)海量日志數(shù)據(jù)進(jìn)行處理；

S3.對(duì)處理后的海量日志數(shù)據(jù)進(jìn)行劃分；

S4.通過劃分后的日志數(shù)據(jù)進(jìn)行監(jiān)控；

S5.根據(jù)日志數(shù)據(jù)構(gòu)建標(biāo)簽特征；

S6.將標(biāo)簽特征中關(guān)鍵信息的字符串轉(zhuǎn)換為正則表達(dá)式；

S7.提取標(biāo)簽特征。

優(yōu)選的，所述S1中建立規(guī)范化的海量日志數(shù)據(jù)包括對(duì)于不符合格式要求的日志數(shù)據(jù)使用正則表達(dá)式進(jìn)行處理和建立日志數(shù)據(jù)監(jiān)控服務(wù)。

優(yōu)選的，所述S1中建立規(guī)范化的海量日志數(shù)據(jù)還包括對(duì)利用Hadoop對(duì)日志數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，篩選出原始數(shù)據(jù)和對(duì)原始數(shù)據(jù)進(jìn)行包括均值、有效值、峰值、方根幅值、波形指標(biāo)、脈沖指標(biāo)、峭度指標(biāo)的特征值提取。

優(yōu)選的，所述S2中對(duì)海量日志數(shù)據(jù)進(jìn)行處理的方法包括以下步驟：

S101.獲取設(shè)定時(shí)間段內(nèi)的日志文件，所述日志文件包括非結(jié)構(gòu)化日志數(shù)據(jù)；

S102.對(duì)所述非結(jié)構(gòu)化日志數(shù)據(jù)進(jìn)行識(shí)別，確定與所述非結(jié)構(gòu)化日志數(shù)據(jù)對(duì)應(yīng)的特征值；

S103.從所述非結(jié)構(gòu)化日志數(shù)據(jù)中確定出有效的非結(jié)構(gòu)化日志數(shù)據(jù)；

S104.根據(jù)所述特征值，對(duì)所述有效的非結(jié)構(gòu)化日志數(shù)據(jù)進(jìn)行聚類，轉(zhuǎn)換成M個(gè)結(jié)構(gòu)化日志數(shù)據(jù)，所述M個(gè)結(jié)構(gòu)化日志數(shù)據(jù)中不同條的結(jié)構(gòu)化日志數(shù)據(jù)具有相同的N個(gè)特征值，其中，M為正整數(shù)。