[發明專利]基于負載自動預測的數據庫自動調優方法及裝置

在審

• 申請號: 201910368303.1
• 申請日: 2019-05-05
• 公開（公告）號: CN110188086A
• 公開（公告）日: 2019-08-30
• 發明（設計）人: 陳再妮;何自強
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京潤平知識產權代理有限公司 11283
• 代理人: 肖冰濱;陳瀟瀟

本發明實施方式提供一種基于負載自動預測的數據庫自動調優方法，所述自動調優方法包括：基于歷史數據庫的歷史負載預測在線數據庫即將發生的負載；根據上述步驟得到的所述在線數據庫即將發生的負載調整訓練數據庫配置參數，得到優化后的數據庫配置參數；將上述步驟得到的優化后的數據庫配置參數在與其對應的在線數據庫負載實際發生時配置給所述在線數據庫。結合上述步驟可實現自動根據已知的近期和歷史任務的資源消耗情況預測即將發生的工作負載情況，然后基于預測的負載通過優化庫查詢加實時訓練的方式找出在此負載的情況下最優性能的配置信息，最后在預測負載發生時及時替換線上配置情況以達到時刻保持數據庫性能最優。

技術領域

本發明涉及數據庫領域，具體地涉及一種基于負載自動預測的數據庫自動調優方法及一種基于負載自動預測的數據庫自動調優裝置。

背景技術

傳統的數據庫調優方法是依靠專業DBA人工結合硬件配置、業務的數據量、流量等給出一個相對合理的參數配置文件。由于線上負載隨時有可能發生變化，這種方法不能時刻保持數據庫性能是最優的，也不能應對熱點事件的突發情況，當有熱點事件發生時，由于數據量或者流量的突然增大，數據庫的負載會很快上升，而人工無法做到特別及時的響應，這就會導致因為數據庫性能不足而出現拒絕連接的情況。此外，如果在業務閑時，數據庫負載已經下降，而不及時進行調整的話，就會存在著資源浪費的情況。具體來說，DBA人工基于歷史情況結合個人經驗預測數據庫負載，并根據預測結果再次結合個人經驗人工調優給出優化配置，最后人工推送上線，缺點在于：由于歷史情況比較久遠，可參考性有所下降，存在著預測不準確，導致調優結果不理想的情況；由于人工響應的速度比較慢，如果預測不準確，不能及時調整到最優配置；對DBA技能要求較高，而且需要收集的信息復雜多樣，然后綜合考慮，人力成本非常高。

現有一些機器學習自動調參的方案是基于當前負載尋找優化配置，并且不會自動推送上線，缺點在于：由于需要先觀察數據庫至少一個周期，獲取當前負載信息，然后再開始調優，這中間存在著時間差，等調優完成后線上負載情況已發生變化，得到的最優配置已經不合適最新情況；由于不會自動推送上線，因此要想真正應用到線上，是需要人工跟進，等到產生最優配置后，由人工推送上線，人力成本較高。

發明內容

本發明實施方式的目的是做到對數據庫負載的提前預測，針對預測的結果自動做好數據庫的提前優化配置工作，當負載增大或減小時直接將優化后的配置替換到線上以做到及時應對，可更好的應對突發情況，節省資源，提高效率，還可以節省運維人力成本。

為了實現上述目的，在本發明第一方面，提供一種基于負載自動預測的數據庫自動調優方法，所述自動調優方法包括：

S1)基于歷史數據庫的歷史負載預測在線數據庫即將發生的負載；

S2)根據步驟S1)得到的所述在線數據庫即將發生的負載調整訓練數據庫配置參數，得到優化后的數據庫配置參數；

S3)將步驟S2)得到的優化后的數據庫配置參數在與其對應的在線數據庫負載實際發生時配置給所述在線數據庫。

進一步的，所述步驟S1)包括如下步驟：

S11)從所述歷史數據庫的歷史負載提取特征值，生成樣例；

S12)將所述步驟S11)中生成的所述樣例作為高斯回歸模型的輸入，預測歷史數據庫的即將發生的負載；

S13)將所述步驟S12)得到的所述歷史數據庫的即將發生的負載與所述歷史數據庫的歷史負載進行比較，根據比較結果對所述高斯回歸模型進行模型調整；

S14)重復步驟S11)-S13)直至得到所述歷史數據庫的即將發生的負載與所述歷史數據庫的歷史負載之間的誤差最小并且收斂時的高斯回歸模型；

S15)將所述誤差最小并且收斂時的高斯回歸模型用于基于歷史數據庫的歷史負載預測在線數據庫即將發生的負載。