[發明專利]一種日志數據的知識圖譜構建方法

有效

• 申請號: 202011444358.5
• 申請日: 2020-12-08
• 公開（公告）號: CN112579707B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 李曉戈;邱連濤;胡飛雄;胡立坤;于智洋;張東
• 申請（專利權）人: 西安郵電大學;騰訊科技（深圳）有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/26;G06F16/215;G06F40/186;G06N20/00
• 代理公司: 北京易捷勝知識產權代理有限公司 11613
• 代理人: 齊勝杰;李會娟

本發明公開了一種日志數據的知識圖譜構建方法，包括：S1、獲取指定時間窗口內的日志數據；S2、對所述日志數據進行預處理，并轉換為結構化的日志數據；以及依據模板樹建立策略建立模板樹；S3、基于建立的模板樹，獲取日志模板；S4、基于結構化的日志數據和日志模板，進行實體抽取和關系抽取，獲得用于輸出的多個三元組數據，所述三元組數據為實體－關系－實體形式的數據；S5、對多個三元組數據按照時間序列進行融合，獲得日志數據的知識圖譜。本發明的方法能夠將非結構化文本數據轉化為結構化數據，構建運維日志知識圖譜，圍繞著知識圖譜中的實體信息，從不同緯度為業務的實體信息提供不同功能的可視化服務。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種日志數據的知識圖譜構建方法。

背景技術

隨著互聯網的普及，數據量的飛速增長使得信息越來越多，人們對信息查詢的質量和精準度要求越來越高。日志系統對運維工作而言是一個非常重要的組成部分，它記錄系統與操作者產生的所有行為，并且同時按照開發人員的某一種規范對其操作進行記錄。

然而，現有技術中對于異常的運維數據，智能通過人工去查看，并不能自動查看，同時無法查看其關聯的可能發生異常的運維數據，為此，如何建立一種知識圖譜去實現表示運維數據的實體及運維數據的關系成為當前需要解決的技術問題。

發明內容

(一)要解決的技術問題

鑒于現有技術的上述缺點、不足，本發明提供一種日志數據的知識圖譜構建方法，能夠更好地通過挖掘有用信息從而形成知識圖譜，并進一步可實現結果可視化。

(二)技術方案

為了達到上述目的，本發明采用的主要技術方案包括：

根據本發明的一個方面，提供了一種日志數據的知識圖譜構建方法，包括：

S1、獲取指定時間窗口內的日志數據；

S2、對所述日志數據進行預處理，并依據模板樹建立策略建立模板樹；

S3、基于建立的模板樹，獲取日志模板；

S4、基于獲取的日志數據和日志模板，進行實體抽取和關系抽取，獲得用于輸出的多個三元組數據，所述三元組數據為實體－關系－實體形式的數據；

S5、對多個三元組數據按照時間序列進行融合，獲得日志數據的知識圖譜。

可選地，所述S5包括：

將三元組數據存放在圖數據庫中，將與三元組數據對應的時間序列的信息存儲在時序數據庫中，用以在可視化顯示時按照時間序列調用三元組數據，以獲得日志數據的知識圖譜；

所述圖數據庫為Neo4j型標準化數據庫，所述時序數據庫為OpenTSDB型標準化數據庫；

或者，

將三元組數據中不同的實體類型及屬性使用Cypher語句導入圖數據庫，使用OpenTSDB服務將實體關系及屬性存儲在時序數據庫中；

所述圖數據庫為Neo4j型標準化數據庫，所述時序數據庫為OpenTSDB型標準化數據庫。

可選地，所述方法還包括：

S6、接收平臺輸入的請求信息，依據請求信息中的可視化服務信息，向用戶展示與可視化服務信息對應的實體關系；

或者，使用D3.js中的力導向圖完成實體關系的可視化，或者，使用D3.js中的EventDrops進行實體時序的可視化。

可選地，所述S2包括：

S2-1、對每一條日志數據，將日志數據中正文內容對應的非結構化的數據轉化為結構化的正文數據；