[發(fā)明專利]一種基于AIOps的智能運維框架系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010985939.3
• 申請日: 2020-09-18
• 公開（公告）號: CN112181960B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設計）人: 王曉光;張偉;李先票;劉東海
• 申請（專利權）人: 杭州優(yōu)云軟件有限公司;北京廣通優(yōu)云科技股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06F16/28;G06Q10/00;G06Q10/10
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 黃素萍

1.一種基于AIOps的智能運維框架系統(tǒng)，其特征在于，包括算法模型在線服務模塊、可視化建模平臺、Notebook建模平臺、數(shù)據(jù)治理模塊和計算引擎模塊；

算法模型在線服務模塊提供訓練好的模型的部署，提供算法的在線服務；

可視化建模平臺集成了算法包，用可視化的方式進行調(diào)用，每個節(jié)點都是計算組件，包括特征工程、數(shù)據(jù)預處理、模型訓練、結果評估的可視化調(diào)用的方式組成工作流；使模型的訓練過程白盒化；

Notebook建模平臺為基于開源Jupyter Notebook制作定制化內(nèi)容，實現(xiàn)交互式的建模工作，提高兼容性能；

數(shù)據(jù)治理模塊包括采用類SQL語法來滿足各種場景需求，通過UDF實現(xiàn)用戶自定義函數(shù)，采用Python Script兼顧常規(guī)三方庫并支持上傳自定義Python腳本和Shell,shell指為使用者提供操作界面；數(shù)據(jù)治理模塊具體包括如下運轉步驟：

101)原始數(shù)據(jù)輸入步驟：數(shù)據(jù)的采集模塊將數(shù)據(jù)從數(shù)據(jù)源采集到本系統(tǒng)中；數(shù)據(jù)在進入本系統(tǒng)時，由本系統(tǒng)生成統(tǒng)一流水號，且該流水號在本系統(tǒng)中是唯一的關鍵標識；其中，流水號中包括數(shù)據(jù)的來源系統(tǒng)、數(shù)據(jù)的生成時間、數(shù)據(jù)的類別；

102)數(shù)據(jù)的標準化處理步驟：被賦予了統(tǒng)一交易流水號后的數(shù)據(jù)會進入智能運維系統(tǒng)的數(shù)據(jù)預處理模塊；數(shù)據(jù)預處理包括數(shù)據(jù)清洗、屬性提取、類型轉換、指標計算、解碼編碼，且都采用可拖拽的模式進行；

103)數(shù)據(jù)存儲步驟：將上述處理后的數(shù)據(jù)存儲進實時數(shù)據(jù)倉庫，批處理的數(shù)據(jù)存儲進匯總數(shù)據(jù)倉庫，而實時數(shù)據(jù)倉庫中的數(shù)據(jù)在處理過程完成后同樣存儲入?yún)R總數(shù)據(jù)倉庫；

104)數(shù)據(jù)分析步驟：對步驟103)的數(shù)據(jù)進行分析處理，經(jīng)過數(shù)據(jù)分析處理的數(shù)據(jù)被轉換為能有效被前臺運維人員高效運用的數(shù)據(jù)；

數(shù)據(jù)分析包括數(shù)據(jù)接入、數(shù)據(jù)轉換、數(shù)據(jù)驗證、模型訓練、模型驗證、模型評價、大規(guī)模訓練、模型發(fā)布、算法服務、訓練監(jiān)控、建模日志；

數(shù)據(jù)接入，以kafka方式接入第三方監(jiān)控平臺的指標數(shù)據(jù)，數(shù)據(jù)接入后進行預處理操作；

數(shù)據(jù)轉換、數(shù)據(jù)驗證采用系統(tǒng)內(nèi)置豐富的ETL算法組件，通過拖拽的方式連接成“指標數(shù)據(jù)ETL處理“的Pipeline；

特征工程通過提供豐富的特征工程組件，用戶可以通過拖拽選擇使用不同的特征內(nèi)容；

模型訓練、模型驗證、模型評價，整體上提供兩種方式訓練模型，一種是可拖拽Studio建模，另一種是在線交互式Notebook建模，分析不同的指標數(shù)據(jù)結構，可以訓練的模型包括：動態(tài)基線、動態(tài)上基線、動態(tài)下基線、跑批缺失檢測、磁盤容量預警；

大規(guī)模訓練，因一個資源一個模型，在大規(guī)模的資源場景下采用多線程并發(fā)去訓練資源指標模型，然后在匯總訓練產(chǎn)生的模型文件上傳到模型庫；

模型發(fā)布，模型訓練流程Pipeline保存模型到模型庫中，預測流程Pipeline從模型庫中加載已經(jīng)存的模型并可以指定使用的模型版本；默認發(fā)布最新模型版本；

算法服務，提供預測流程Pipeline、藍綠部署、版本控制服務；

訓練監(jiān)控、建模日志，在可視化Studio建模中，在Pipeline上面實時監(jiān)控訓練任務包括任務運行狀態(tài)和運行日志，任務運行狀態(tài)有等待執(zhí)行、執(zhí)行中、出錯、執(zhí)行完成，可實時查看訓練狀態(tài)和日志；

其中，分析處理的各個功能模塊設計成可拖拽的模式，運維人員根據(jù)實際情況所需，選擇相對應的功能模塊進行分析處理；

105)數(shù)據(jù)可視化步驟：經(jīng)過步驟104)處理的數(shù)據(jù)成為可消費的數(shù)據(jù)，將數(shù)據(jù)變成可拖拽的數(shù)據(jù)展示，其包括儀表盤展示、實時圖表展示、歷史圖表展示、數(shù)據(jù)導出；

計算引擎模塊采用分布式框架提供整個系統(tǒng)數(shù)據(jù)的運轉和調(diào)度。

2.根據(jù)權利要求1所述的一種基于AIOps的智能運維框架系統(tǒng)，其特征在于，步驟101)中在給定流水號時計算數(shù)據(jù)來源之間的相似性，從而識別具有不同標識但實際擁有同一來源的數(shù)據(jù)；

相似性通過如下余弦公式計算相似度，來進行度量

其中，θ表示向量X、Y之間的夾角，X_i和Y_i分別代表向量X和Y的各分量。