[發明專利]一種網絡系統數據表征方法和裝置

在審

• 申請號: 201810048075.5
• 申請日: 2018-01-18
• 公開（公告）號: CN110058986A
• 公開（公告）日: 2019-07-26
• 發明（設計）人: 李乃鵬
• 申請（專利權）人: 普天信息技術有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

本發明提供了一種網絡系統數據表征方法和裝置，該方法包括：匯聚網絡系統的數據和來自第三方系統的數據；將匯聚的數據按照數據類別劃分到不同的數據集合；針對每種數據類別，將該數據類別對應的數據集合中的數據使用為該數據類別設置的訓練模型進行訓練，得到該數據類別對應的數據表征結果；將所有數據類別的數據表征結果進行加權計算，對加權計算結果進行激勵得到網絡系統的數據表征結果。本發明能夠減少甚至避免數據信息丟失，從而有效提高網絡系統的任務精度和工作效率。

技術領域

本發明涉及信息處理技術領域，特別涉及一種網絡系統數據表征方法和裝置。

背景技術

現代網絡系統中，不管是對網絡的流量的評估或是預測，還是對中心節點，例如交換機或路由器的異常監測，都是保障網絡系統正常運轉，加強系統安全的重要手段，為了充分了解網絡系統的狀態信息，需要一種精確的、可靠的、靈活的信息表征手段，不但可以快速的構建網絡系統的“快照”，并且可以快速捕捉網絡狀態的細微變化。

大部分情況下，一個網絡系統產生的狀態信息由多種類型的數據組成，且不同類型的數據獲取往往需用采取不同的手段。最基本數據來源的就是網絡系統中節點的日志文件，但即使是同一個網絡系統中的設備，其日志文件的種類和格式依然差別巨大，有些設備只記錄設備的異常狀態，有些設備會記錄所有運行狀態，但因為加密而無法被普通權限的用戶獲取和查閱。同時，還存在一些被動方式，包括各種數據探測針、嗅探手段等。

更進一步，想要完成網絡系統的狀態評估和預測需要一個數據轉化融合的過程，即將這些海量的異構的網絡系統狀態數據轉化為一種方便于各種學習算法能夠進行訓練和預測的格式。目前的網絡系統數據采集方法和手段主要是利用特征工程的手段，原始數據會從網絡系統的各個環節匯聚到一起，然后利用人工的方式，結合人類的先驗知識處理原始數據，根據字段類型等方式排列、組合起來送入機器學習的各種模型中進行訓練。其一般步驟通常包括特征提取、特征選擇、訓練集或測試集構造等過程。

現有的網絡系統中的數據表征方法大體分為兩種類型，其一是面向傳統的機器學習手段，需要大量的特征工程。其二是面向深度學習，尤其是面向目前深度學習中表現較好的卷積神經網絡，這一類數據表征方法本身還處于探索階段，所以方法還比較欠缺或性能較差，往往無法避免數據信息量的損失。

數據信息量的丟失主要發生在數據的轉化過程中，比如根據網絡中的數據流量直接繪制各通路的流量圖作為訓練數據送入訓練模型中，這樣轉化保留了各個通路之間的空間相關性，但會丟失時間關聯性。這些信息量的缺失會顯而易見影響的模型的訓練結果，進而對任何需要描述網絡系統性能和狀態的應用都會產生負面的影響。

發明內容

有鑒于此，本發明的目的在于提供一種網絡系統數據表征方法和裝置，能夠減少甚至避免數據信息丟失，從而有效提高網絡系統的任務精度和工作效率。

為了達到上述目的，本發明提供了如下技術方案：

一種網絡系統數據表征方法，包括：

匯聚網絡系統的數據和來自第三方系統的數據；

將匯聚的數據按照數據類別劃分到不同的數據集合；

針對每種數據類別，將該數據類別對應的數據集合中的數據使用為該數據類別設置的訓練模型進行訓練，得到該數據類別對應的數據表征結果；

將所有數據類別的數據表征結果進行加權計算，對加權計算結果進行激勵得到網絡系統的數據表征結果。

較佳地，

將所有數據類別的數據表征結果進行加權計算的方法為使用以下公式：