[發明專利]一種大數據運維監控的多平臺適配方法

有效

• 申請號: 202310391635.8
• 申請日: 2023-04-13
• 公開（公告）號: CN116107630B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 魏強;劉廣志;陳敬
• 申請（專利權）人: 四川觀想科技股份有限公司
• 主分類號: G06F8/76
• 分類號: G06F8/76;G06F8/36;G06F18/231;G06F18/23213;G06F18/2321;G06N3/0499;G06N3/084
• 代理公司: 西安正華恒遠知識產權代理事務所(普通合伙) 61271
• 代理人: 陳選中

本發明公開了一種大數據運維監控的多平臺適配方法，包括以下步驟：將一組樣例平臺依據功能組件進行聚類分析得到多個平臺集合，并在多個平臺集合中對功能組件進行適配共性分析得到每個平臺集合的適配共性組件；利用BP神經網絡在平臺集合中對平臺功能特征與適配共性組件進行學習訓練得到共性適配模型。本發明構建出平臺與平臺之間、平臺與組件之間的運維關聯性，利用模型產生統一的運維監控視角，建立在不同的平臺之間進行合理適配，避免各組件之間在運維層面集成困難、重復建設、自動化程度偏低的困境，能夠實現大數據平臺的一體化運維管理。

技術領域

本發明涉及運維監控技術領域，具體涉及一種大數據運維監控的多平臺適配方法。

背景技術

Ambari跟Hadoop等開源軟件一樣，也是ApacheSoftwareFoundation中的一個項目，并且是頂級項目。就Ambari的作用來說，就是創建、管理、監視Hadoop的集群，這里的Hadoop是廣義，指的是Hadoop整個生態圈（例如Hive，Hbase，Sqoop，Zookeeper等），而并不僅是特指Hadoop。用一句話來說，Ambari就是為了讓Hadoop以及相關的大數據軟件更容易使用的一個工具。Ambari作為大數據運維監控的頂級開源項目，在大數據平臺搭建和運維中得到廣泛應用。然而官方的ambari默認只支持x86的cpu架構，以及centos和ubuntu操作系統，在國產操作系統上無法運行。

傳統的大數據運維平臺組件種類復雜，一般包含多種開源技術產品，如：Hadoop、ElasticSearch、HBase、Phoenix產品等，涉及的組件類型多，如：容器、中間件、數據庫等。由于不同組件之間沒有統一的運維接口，一般采用原生接口各自進行運維管理，通過該方式搭建的大數據運維管理平臺為離散型，系統與系統之間、組件與組件之間的運維較為割裂，缺乏統一的運維監控視角，也無法建立在不同的平臺之間進行合理適配，各組件之間在運維層面集成困難、重復建設、自動化程度偏低，難以實現大數據平臺的一體化運維管理。

發明內容

本發明的目的在于提供一種大數據運維監控的多平臺適配方法，以解決現有技術中離散型，系統與系統之間、組件與組件之間的運維較為割裂，缺乏統一的運維監控視角，也無法建立在不同的平臺之間進行合理適配，各組件之間在運維層面集成困難、重復建設、自動化程度偏低，難以實現大數據平臺的一體化運維管理的技術問題。

為解決上述技術問題，本發明具體提供下述技術方案：

一種大數據運維監控的多平臺適配方法，包括以下步驟：

步驟S1、拆分運維監控的功能組件，獲取每個功能組件的運維監控功能特征；

步驟S2、選取一組樣例平臺，獲取每個樣例平臺的平臺功能特征，并標注樣例平臺使用的所述功能組件；

步驟S3、將一組樣例平臺依據功能組件進行聚類分析得到多個平臺集合，并在多個平臺集合中對功能組件進行適配共性分析得到每個平臺集合的適配共性組件；

步驟S4、利用BP神經網絡在平臺集合中對平臺功能特征與適配共性組件進行學習訓練得到共性適配模型，以實現大數據運維監控的多平臺自主適配。

作為本發明的一種優選方案，所述運維監控功能特征包括組件輸入數據類型、組件輸出數據類型以及組件監控功能類型。

作為本發明的一種優選方案，所述平臺功能特征包括平臺輸入數據類型、平臺輸出數據類型以及平臺監控目標類型。

作為本發明的一種優選方案，所述將一組樣例平臺依據功能組件進行聚類分析得到多個平臺集合，包括：

將每個樣例平臺的所有功能組件對應的所有運維監控功能特征向量化作為每個樣例平臺的特征向量；

將一組樣例平臺基于特征向量進行聚類分析，以實現將一組樣例平臺劃分為多個平臺集合。