[發(fā)明專利]一種日志數(shù)據(jù)的知識(shí)圖譜構(gòu)建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011444358.5
• 申請(qǐng)日: 2020-12-08
• 公開(kāi)（公告）號(hào): CN112579707B
• 公開(kāi)（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 李曉戈;邱連濤;胡飛雄;胡立坤;于智洋;張東
• 申請(qǐng)（專利權(quán)）人: 西安郵電大學(xué);騰訊科技（深圳）有限公司
• 主分類號(hào): G06F16/28
• 分類號(hào): G06F16/28;G06F16/26;G06F16/215;G06F40/186;G06N20/00
• 代理公司: 北京易捷勝知識(shí)產(chǎn)權(quán)代理有限公司 11613
• 代理人: 齊勝杰;李會(huì)娟

1.一種日志數(shù)據(jù)的知識(shí)圖譜構(gòu)建方法，其特征在于，包括：

S1、獲取指定時(shí)間窗口內(nèi)的日志數(shù)據(jù)；

S2、對(duì)所述日志數(shù)據(jù)進(jìn)行預(yù)處理，并依據(jù)模板樹(shù)建立策略建立模板樹(shù)；

S3、基于建立的模板樹(shù)，獲取日志模板；

S4、基于獲取的日志數(shù)據(jù)和日志模板，進(jìn)行實(shí)體抽取和關(guān)系抽取，獲得用于輸出的多個(gè)三元組數(shù)據(jù)，所述三元組數(shù)據(jù)為實(shí)體－關(guān)系－實(shí)體形式的數(shù)據(jù)；

具體地，S4-2-1：從待抽取關(guān)系的日志模板中，獲得抽取的實(shí)體對(duì)e1，e2；

S4-2-2：使用TF-IDF算法計(jì)算出特征詞的權(quán)重w，記為v＝{(word₁,w₁)(word₂,w₂)……}，獲得的實(shí)體對(duì)將日志數(shù)據(jù)中的非結(jié)構(gòu)化部分切分為三部分：e1之前的文本特征向量，e1與e2之間的文本特征向量，e2之后的文本特征向量，記為V_i＝(v1,v2,v3)；

S4-2-3：使用余弦相似度計(jì)算兩組向量之間的相似度，作為密度聚集類的輸入，計(jì)算公式為：

其中，n指的是日志的word數(shù)，k是從1到n依次；

V_j指的是不同于V_i的另一條日志特征向量；

W_ik指的是第i條日志中第k個(gè)單詞的權(quán)重；

V_in指的是V_i切分后的每個(gè)特征向量(v1,v2,v3)；

公式(1)為計(jì)算兩個(gè)向量之間的距離，公式(2)對(duì)3組余弦相似度的距離求和，計(jì)算兩個(gè)向量之間的相似度；

S4-2-4：將相似度作為聚類的輸入，對(duì)所有預(yù)處理后的日志進(jìn)行密度聚類，每個(gè)聚類簇中按特征詞的TF-IDF值降序排列，選擇關(guān)系詞；

S5、對(duì)多個(gè)三元組數(shù)據(jù)按照時(shí)間序列進(jìn)行融合，獲得日志數(shù)據(jù)的知識(shí)圖譜。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述S5包括：

將三元組數(shù)據(jù)存放在圖數(shù)據(jù)庫(kù)中，將與三元組數(shù)據(jù)對(duì)應(yīng)的時(shí)間序列的信息存儲(chǔ)在時(shí)序數(shù)據(jù)庫(kù)中，用以在可視化顯示時(shí)按照時(shí)間序列調(diào)用三元組數(shù)據(jù)，以獲得日志數(shù)據(jù)的知識(shí)圖譜；

所述圖數(shù)據(jù)庫(kù)為Neo4j型標(biāo)準(zhǔn)化數(shù)據(jù)庫(kù)，所述時(shí)序數(shù)據(jù)庫(kù)為OpenTSDB型標(biāo)準(zhǔn)化數(shù)據(jù)庫(kù)；

或者，

將三元組數(shù)據(jù)中不同的實(shí)體類型及屬性使用Cypher語(yǔ)句導(dǎo)入圖數(shù)據(jù)庫(kù)，使用OpenTSDB服務(wù)將實(shí)體關(guān)系及屬性存儲(chǔ)在時(shí)序數(shù)據(jù)庫(kù)中；

所述圖數(shù)據(jù)庫(kù)為Neo4j型標(biāo)準(zhǔn)化數(shù)據(jù)庫(kù)，所述時(shí)序數(shù)據(jù)庫(kù)為OpenTSDB型標(biāo)準(zhǔn)化數(shù)據(jù)庫(kù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

S6、接收平臺(tái)輸入的請(qǐng)求信息，依據(jù)請(qǐng)求信息中的可視化服務(wù)信息，向用戶展示與可視化服務(wù)信息對(duì)應(yīng)的實(shí)體關(guān)系；

或者，使用D3.js中的力導(dǎo)向圖完成實(shí)體關(guān)系的可視化，或者，使用D3.js中的EventDrops進(jìn)行實(shí)體時(shí)序的可視化。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述S2包括：

S2-1、對(duì)每一條日志數(shù)據(jù)，將日志數(shù)據(jù)中正文內(nèi)容對(duì)應(yīng)的非結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化的正文數(shù)據(jù)；

S2-2、針對(duì)所有結(jié)構(gòu)化的正文數(shù)據(jù)，采用分隔符進(jìn)行分詞處理；

S2-3、針對(duì)分詞處理的所有正文數(shù)據(jù)，采用模板樹(shù)建立策略，建立模板樹(shù)；

其中，模板樹(shù)建立策略包括：針對(duì)第一條正文數(shù)據(jù)，查看分詞后每一詞匯的順序，按照模板樹(shù)的根部到枝葉的順序，進(jìn)行劃分父節(jié)點(diǎn)和子節(jié)點(diǎn)，針對(duì)第n條正文數(shù)據(jù)，查看分詞后每一詞匯與模板樹(shù)中相應(yīng)位置的詞匯是否相同，若不同，則成為上一相同詞匯的子節(jié)點(diǎn)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述S3包括：

S3-1、針對(duì)所述模板樹(shù)，判斷每一個(gè)父節(jié)點(diǎn)和子節(jié)點(diǎn)的數(shù)據(jù)格式，采用指定數(shù)據(jù)格式所屬的標(biāo)識(shí)符替換節(jié)點(diǎn)的數(shù)據(jù)，并獲取新的模板樹(shù)；

S3-2、針對(duì)新的模板樹(shù)，采用剪枝策略對(duì)子節(jié)點(diǎn)進(jìn)行剪枝處理，獲取精簡(jiǎn)模板樹(shù)；

S3-3、將精簡(jiǎn)模板樹(shù)中每一根節(jié)點(diǎn)到葉子節(jié)點(diǎn)作為一個(gè)日志模板，并遍歷所述精簡(jiǎn)模板樹(shù)，獲取所有的日志模板，且每一日志模板具有唯一的標(biāo)識(shí)。