[發明專利]基于流量鏡像的數據庫自學習優化方法及裝置

有效

• 申請號: 201910307572.7
• 申請日: 2019-04-17
• 公開（公告）號: CN110134665B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 周坤龍
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/25
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 肖冰濱;王曉曉

1.一種基于流量鏡像的數據庫自學習優化方法，所述自學習優化方法包括如下步驟：

S1)通過自適應學習方法獲取待優化數據庫的最新數據庫配置參數，將所述最新數據庫配置參數發送給訓練數據庫；

S2)建立與所述待優化數據庫的數據庫模型一致的數據庫鏡像模型，并將所述數據庫鏡像模型發送給所述訓練數據庫；

S3)建立與所述待優化數據庫接收到的流量模型一致的流量鏡像模型，將所述流量鏡像模型中的流量按其倍數調整，并將調整后的流量鏡像模型發送給所述訓練數據庫；

S4)獲取反饋自所述訓練數據庫的訓練結果；

S5)根據所述訓練數據庫的訓練結果更新所述待優化數據庫的數據庫配置參數；

S6)重復執行步驟S1)～S5)R次，獲取所述R次的訓練結果中所述訓練數據庫的TPS吞吐量為最大值時的最新數據庫配置參數，并將該最新數據庫配置參數作為數據庫最終配置參數配置給所述待優化數據庫。

2.根據權利要求1所述的自學習優化方法，其特征在于，所述步驟S1)中，所述待優化數據庫為含訓練數據的待優化數據庫、不含訓練數據的待優化數據庫和訓練數據不足的待優化數據庫中的一者；所述訓練數據包括所述待優化數據庫的數據庫原始配置參數和TPS吞吐量。

3.根據權利要求2所述的自學習優化方法，其特征在于，在所述待優化數據庫為含訓練數據的待優化數據庫的情況下，所述步驟S1)中的自適應學習方法實現步驟為：

S11)訓練數據獲取：對于具有K個數據庫原始配置參數的待優化數據庫，采用隨機采樣的方式在所述K個數據庫原始配置參數的每個數據庫原始配置參數的可選范圍內選取一個值作為隨機數據庫配置參數；隨機采樣N組，組成N組隨機數據庫配置參數，每組包含K個隨機數據庫配置參數；使用所述N組隨機數據庫配置參數中的每一組隨機數據庫配置參數啟動數據庫實例，進行流量回放性能測試，獲取每一組隨機數據庫配置參數的TPS吞吐量；

S12)訓練數據特征化：對步驟S11)中獲取的N組隨機數據庫配置參數進行特征向量化，建立特征矩陣；

S13)選取關鍵參數：使用高斯過程回歸，從N組隨機數據庫配置參數中選取對TPS吞吐量影響力最大的M個隨機數據庫配置參數，為所述特征矩陣降維，獲得參數配置與TPS結果模型，所述參數配置與TPS結果模型用于描述M個隨機數據庫配置參數與TPS吞吐量之間的關系；所述M是小于K的正整數；

S14)推薦配置參數：使用所述參數配置與TPS結果模型推薦所述最新數據庫配置參數。

4.根據權利要求2所述的自學習優化方法，其特征在于，在所述待優化數據庫為不含訓練數據或訓練數據不足的待優化數據庫的情況下，所述步驟S1)中的自適應學習方法為采用深度強化學習模型獲取所述最新數據庫配置參數。

5.根據權利要求1所述的自學習優化方法，其特征在于，所述步驟S4)中，所述訓練結果包括：TPS吞吐量、時延、CPU消耗、內存消耗和IO消耗。

6.根據權利要求1所述的自學習優化方法，其特征在于，所述訓練數據庫有P個，步驟S1)包括同時將P個不同的最新數據庫配置參數分別發送給所述P個訓練數據庫；步驟S4)包括獲取反饋自所述P個訓練數據庫的訓練結果；步驟S5)包括根據所述P個訓練數據庫的訓練結果更新所述待優化數據庫的數據庫配置參數。

7.根據權利要求1所述的自學習優化方法，其特征在于，步驟S6)中，所述數據庫最終配置參數為支持在線調整類參數或重啟數據庫實例類參數；在所述數據庫最終配置參數為支持在線調整類參數的情況下，步驟S6)還包括：自動將所述數據庫最終配置參數配置給所述待優化數據庫，并持續記錄所述待優化數據庫的負載情況；

在所述數據庫最終配置參數為重啟數據庫實例類參數的情況下，步驟S6)還包括：由數據庫管理人員將所述數據庫最終配置參數配置給所述待優化數據庫，以及重啟所述待優化數據庫。