[發明專利]一種基于機器學習進行數據庫系統性能預測的方法及系統

在審

• 申請號: 201911296302.7
• 申請日: 2019-12-16
• 公開（公告）號: CN112988529A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 張繼東;曹靖城;劉文媛;閆妍
• 申請（專利權）人: 天翼智慧家庭科技有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06N3/04;G06N3/08
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 蔡悅

本發明提供了一種基于機器學習進行數據庫系統性能預測的方法及系統。方法包括：采集數據庫運維數據并形成各時間周期的多維狀態向量；基于所述多維狀態向量計算跨多個時間周期的趨勢向量；獲取相應各時間周期的數據庫系統性能指標；基于所獲取的數據庫系統性能指標計算系統評價值；基于所述趨勢向量與所述系統評價值來訓練數據庫系統性能預測模型；以及將實時形成的趨勢向量輸入所述數據庫系統性能預測模型以輸出預測的系統評價值。

技術領域

本發明涉及數據庫運維領域，更具體地，涉及基于機器學習進行數據庫系統性能預測的方法及系統。

背景技術

隨著互聯網技術的不斷普及，以及各業務領域的互聯網化拓展，開放的LMAP架構已逐漸取代早期IOE架構。開源數據庫相較于商業數據庫而言更加開放、包容，更利于業務的快速迭代，其中MySQL作為開源數據庫的佼佼者，具備高性能、低成本、易部署等特點，已逐漸成為主流的數據庫解決方案，在各業務領域均有廣泛的應用。

數據庫作為業務系統的核心功能，由于與業務邏輯強相關，通常涉及到系統設計、開發、部署、運維等多個環節，當前數據庫運維領域主要的工作模式是依靠數據庫運維團隊對數據庫系統進行監控以及巡檢，發現故障或者性能瓶頸，與開發人員、運維人員等討論溝通細節確認后再進一步處理。這種方式的主要問題有：(1)依賴于數據庫專家(DBA)多年的運維經驗，系統是否穩定以及故障恢復時間與DBA技術水平強相關；(2)目前數據庫運維技術存在滯后性，出現性能下降甚至故障時才進行人工干預處理，缺少對數據庫系統性能的預測能力；(3)由于涉及到數據庫、開發、運維等多個團隊相互協作，故障處理速度過慢。

針對這些現狀，目前市面上已有一些第三方工具或外掛平臺來提高數據庫運維效率，比如監控系統、自動化巡檢等，雖然提高了發現問題的效率，但仍存在以下局限性：(1)只能在故障發生或數據庫系統性能指標下降達到閾值時才能進行處理，無法依據趨勢進行預測，不具備前瞻性；(2)數據庫系統通常與業務邏輯強相關，第三方工具不適用大型的多個關聯度高的復雜系統；(3)第三方工具中雖然有一些統一的基礎監控，但對于不同業務場景的數據庫運維仍然依靠數據庫專家經驗通過自行編寫腳本、定義參數權重來定制，不具備客觀性和通用性。

發明內容

提供本發明內容以便以簡化形式介紹將在以下具體實施方式中進一步的描述一些概念。本發明內容并非旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。

為了解決當前數據庫運維技術的局限性，本發明提出一種工作于系統本身、能夠在高維度輸入時準確判定數據庫IO性能趨勢、并對未來一段時間的數據庫IO性能進行預測的方法。本發明通過采集數據庫參數數據以及系統IO性能指標數據，采用SOFTMAX多分類器進行模型訓練，對未來時間內的數據庫IO性能進行預測。

本發明不依賴于人員經驗，所有的輸入數據、模型修訂均為數據庫自身的實際運行指標，能夠客觀地對數據庫IO性能趨勢進行預測，同時，本發明穩定高效，能通過不斷在線學習，自動調優機器學習算法，提升預測準確性，對提高數據庫運維效率有重要的參考意義。

根據本發明的一個方面，提供了一種基于機器學習進行數據庫系統性能預測的方法，所述方法包括：

采集數據庫運維數據以形成各時間周期的多維狀態向量；

基于所述多維狀態向量計算跨多個時間周期的趨勢向量；

獲取相應各時間周期的數據庫系統性能指標；

基于所獲取的數據庫系統性能指標計算系統評價值；

基于所述趨勢向量與所述系統評價值來訓練數據庫系統性能預測模型；以及

將實時形成的趨勢向量輸入所述數據庫系統性能預測模型以輸出預測的系統評價值。

根據本發明的一個實施例，基于所述多維狀態向量計算跨多個時間周期的趨勢向量進一步包括：