[發(fā)明專(zhuān)利]一種基于AIOps的智能運(yùn)維框架系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010985939.3
• 申請(qǐng)日: 2020-09-18
• 公開(kāi)（公告）號(hào): CN112181960B
• 公開(kāi)（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 王曉光;張偉;李先票;劉東海
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州優(yōu)云軟件有限公司;北京廣通優(yōu)云科技股份有限公司
• 主分類(lèi)號(hào): G06F16/215
• 分類(lèi)號(hào): G06F16/215;G06F16/2458;G06F16/28;G06Q10/00;G06Q10/10
• 代理公司: 浙江杭州金通專(zhuān)利事務(wù)所有限公司 33100
• 代理人: 黃素萍

本發(fā)明涉及一種基于AIOps的智能運(yùn)維框架系統(tǒng)，包括算法模型在線(xiàn)服務(wù)模塊、可視化建模平臺(tái)、Notebook建模平臺(tái)、數(shù)據(jù)治理模塊和計(jì)算引擎模塊；本發(fā)明提供了一種讓智能運(yùn)維技術(shù)更加高效、簡(jiǎn)潔、標(biāo)準(zhǔn)的被開(kāi)發(fā)者使用，解決服務(wù)提供中算法黑盒問(wèn)題、算法部署和調(diào)度難的問(wèn)題，以及自定義算法的兼容的一種基于AIOps的智能運(yùn)維框架系統(tǒng)。

技術(shù)領(lǐng)域

本發(fā)明涉及運(yùn)維系統(tǒng)搭建技術(shù)領(lǐng)域，更具體的說(shuō)，它涉及一種基于AIOps的智能運(yùn)維框架系統(tǒng)。

背景技術(shù)

AIOps是Gartner在2016年提出的概念，即“整合大數(shù)據(jù)和機(jī)器學(xué)習(xí)能力，通過(guò)松耦合、可擴(kuò)展方式去提取和分析在數(shù)據(jù)量、種類(lèi)和速度這三個(gè)維度不斷增長(zhǎng)的IT數(shù)據(jù)，為所有主流ITOM產(chǎn)品提供支撐。AIOps平臺(tái)夠同時(shí)使用多個(gè)數(shù)據(jù)源、數(shù)據(jù)采集方法及分析和展現(xiàn)技術(shù)，廣泛增強(qiáng)IT運(yùn)維流程和事件管理效率，可用于性能分析，異常檢測(cè)，事件關(guān)聯(lián)分析，ITSM和自動(dòng)化等應(yīng)用場(chǎng)景”。

它有三個(gè)關(guān)鍵要素：平臺(tái)、大數(shù)據(jù)、機(jī)器學(xué)習(xí)(算法)。以三要素為核心進(jìn)行持續(xù)優(yōu)化輸出能力，在監(jiān)控、服務(wù)臺(tái)、自動(dòng)化三個(gè)方面支撐業(yè)務(wù)價(jià)值創(chuàng)造。

AIOps為IT運(yùn)維提供了全新的管理思路。AIOps的定義涵蓋的兩個(gè)階段，可概括為兩個(gè)層次的提升：數(shù)據(jù)到信息分析層次的提升；信息到知識(shí)提取層次的提升。從數(shù)據(jù)到信息的分析層次的提升指的是更多的是采用數(shù)據(jù)統(tǒng)計(jì)方法，幫助運(yùn)維相關(guān)人員更好地從眾多運(yùn)維數(shù)據(jù)中了解系統(tǒng)的運(yùn)行狀態(tài)，分析并定位故障，實(shí)時(shí)獲取統(tǒng)計(jì)數(shù)據(jù)。而信息到知識(shí)的提升更多的是希望借助人工智能算法，在信息分析的基礎(chǔ)上通過(guò)機(jī)器學(xué)習(xí)的方式實(shí)現(xiàn)異常檢測(cè)、趨勢(shì)分析、故障關(guān)聯(lián)和精準(zhǔn)告警等，因此如何基于AIOps建立新的更好的運(yùn)維框架系統(tǒng)成為當(dāng)下企業(yè)的一個(gè)攻克難題。

發(fā)明內(nèi)容

本發(fā)明克服了現(xiàn)有技術(shù)的不足，提供了一種讓智能運(yùn)維技術(shù)更加高效、簡(jiǎn)潔、標(biāo)準(zhǔn)的被開(kāi)發(fā)者使用，解決服務(wù)提供中算法黑盒問(wèn)題、算法部署和調(diào)度難的問(wèn)題，以及自定義算法的兼容和熱部署問(wèn)題的一種基于AIOps的智能運(yùn)維框架系統(tǒng)。

為了解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案如下：

一種基于AIOps的智能運(yùn)維框架系統(tǒng)，包括算法模型在線(xiàn)服務(wù)模塊、可視化建模平臺(tái)、Notebook建模平臺(tái)、數(shù)據(jù)治理模塊和計(jì)算引擎模塊；

算法模型在線(xiàn)服務(wù)模塊提供訓(xùn)練好的模型的部署，提供算法的在線(xiàn)服務(wù)；

可視化建模平臺(tái)集成了算法包，用可視化的方式進(jìn)行調(diào)用，每個(gè)節(jié)點(diǎn)都是計(jì)算組件，包括特征工程、數(shù)據(jù)預(yù)處理、模型訓(xùn)練、結(jié)果評(píng)估的可視化調(diào)用的方式組成工作流；使模型的訓(xùn)練過(guò)程白盒化；

Notebook建模平臺(tái)為基于開(kāi)源Jupyter Notebook制作定制化內(nèi)容，實(shí)現(xiàn)交互式的建模工作，提高兼容性能；

數(shù)據(jù)治理模塊包括采用類(lèi)SQL語(yǔ)法來(lái)滿(mǎn)足各種場(chǎng)景需求，通過(guò)UDF實(shí)現(xiàn)用戶(hù)自定義函數(shù)，采用Python Script兼顧常規(guī)三方庫(kù)并支持上傳自定義Python腳本和Shell,shell指為使用者提供操作界面；

計(jì)算引擎模塊采用分布式框架提供整個(gè)系統(tǒng)數(shù)據(jù)的運(yùn)轉(zhuǎn)和調(diào)度。

進(jìn)一步的，數(shù)據(jù)治理模塊具體包括如下運(yùn)轉(zhuǎn)步驟：

101)原始數(shù)據(jù)輸入步驟：數(shù)據(jù)的采集模塊將數(shù)據(jù)從數(shù)據(jù)源采集到本系統(tǒng)中；數(shù)據(jù)在進(jìn)入本系統(tǒng)時(shí)，由本系統(tǒng)生成統(tǒng)一流水號(hào)，且該流水號(hào)在本系統(tǒng)中是唯一的關(guān)鍵標(biāo)識(shí)；其中，流水號(hào)中包括數(shù)據(jù)的來(lái)源系統(tǒng)、數(shù)據(jù)的生成時(shí)間、數(shù)據(jù)的類(lèi)別；

102)數(shù)據(jù)的標(biāo)準(zhǔn)化處理步驟：被賦予了統(tǒng)一交易流水號(hào)后的數(shù)據(jù)會(huì)進(jìn)入智能運(yùn)維系統(tǒng)的數(shù)據(jù)預(yù)處理模塊；數(shù)據(jù)預(yù)處理包括數(shù)據(jù)清洗、屬性提取、類(lèi)型轉(zhuǎn)換、指標(biāo)計(jì)算、解碼編碼，且都采用可拖拽的模式進(jìn)行；