[發明專利]基于可視化編排AIOps數據接入和處理的方法和裝置

在審

• 申請號: 202210432581.0
• 申請日: 2022-04-20
• 公開（公告）號: CN114840610A
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 薛明;楊好穎;朱品燕
• 申請（專利權）人: 北京云集智造科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/22;G06F16/2455
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了基于可視化編排AIOps數據接入和處理的方法和裝置，涉及AIOps數據接入和處理技術領域；為了解決AIOps數據接入的難度大、效率低的問題；該方法，包括以下步驟：將IT系統運維數據的接入和處理過程組成一系列相互連接的數據命令單元；利用數據連接將相鄰兩個數據命令單元進行橋接。該裝置，包括基于Web或本地圖形化程序的用戶界面、對提交的有向無環組進行調度和執行的DAG執行引擎、數據分片數據庫、存儲有所有關于數據分片的描述性數據和狀態轉換信息的元數據庫。本發明有效降低AIOps系統的構建和實施人員的技術要求，可快速高效地支持AIOps系統所需的各種運維數據接入和處理任務。

技術領域

本發明涉及AIOps數據接入和處理技術領域，尤其涉及基于可視化編排AIOps數據接入和處理的方法和裝置。

背景技術

隨著企業數字化轉型的不斷深入，以及云技術和大數據技術的發展，企業開始應用AIOps即智能運維的方案來提升運維效率和質量。具體來說，AIOps就是對已有的IT基礎設施和各級應用系統的運行過程中產生的各種運維數據(包括日志、監控信息、應用信息等)進行采集和集中分析，結合人工智能的方法解決運維自動化所無法解決的問題，如有效故障預測、故障發現、故障定位等。這一處理過程包括兩個必不可少的核心步驟：一是數據的接入階段，其主要完成對系統的各種運維數據進行收集，按照一定的格式接入AIOps系統；二是數據的處理階段，其主要完成對接入的數據進行清洗、轉換、加載等預處理工作以及后續的分析和機器學習操作。

由于運維數據的多樣性和異構性的特點，現有的AIOps數據接入和處理方法需要對各種運維數據分別處理，如編寫特定的日志采集、接入、解析、處理等程序或腳本，需要大量的編程或者專業性配置操作，難以進行復用和快速支持新類型的數據源，導致完成AIOps數據接入的難度大、處理效率低，不容易理解。

發明內容

本發明的目的是為了解決現有技術中存在的缺點，而提出的基于可視化編排AIOps數據接入和處理的方法和裝置。

為了實現上述目的，本發明采用了如下技術方案：

基于可視化編排AIOps數據接入和處理的方法，包括以下步驟：

S1：將IT系統運維數據的接入和處理過程組成一系列相互連接的數據命令單元；

S2：利用數據連接將相鄰兩個數據命令單元進行橋接；

S3：由一系列數據命令單元和數據連接共同搭建整個有向無環組；

S4：數據命令單元處理數據分片，并通過數據連接進行傳遞，在有向無環組中流轉；

S5：將一系列通過數據連接相互關聯的數據命令單元定義為子流程，把子流程作為一個獨立的新數據命令單元進行復用；

所述數據命令單元包括0-N個輸入端口和0-N個輸出端口。

優選地：所述數據分片包含數據內容和兩個以上的數據屬性值，數據內容為結構化和非結構化中的一種，數據屬性值為一系列鍵值對，包括日志數據來源、時段、模塊名稱。

優選地：所述數據命令單元包括用于從有向無環組外部獲取各種IT系統運維數據的輸入模塊、用于對輸入的數據分片按順序完成一系列命令操作的序列模塊、用于對輸入的數據分片完成一系列可循環命令操作的迭代模塊、選擇模塊和用于輸出數據分片至外部系統工作的輸出模塊。

優選地：所述輸入模塊包括日志數據、系統監控數據、應用監控數據、告警數據、調用鏈數據、靜態配置數據、自定義事件數據；

所述輸入模塊的輸入方式包括文件上傳、網絡協議、應用協議、數據庫訪問、API訪問；

所述輸出模塊和輸入模塊均屬于單向命令處理模塊。