[發(fā)明專利]基于負(fù)載自動(dòng)預(yù)測(cè)的數(shù)據(jù)庫(kù)自動(dòng)調(diào)優(yōu)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910368303.1
• 申請(qǐng)日: 2019-05-05
• 公開(kāi)（公告）號(hào): CN110188086A
• 公開(kāi)（公告）日: 2019-08-30
• 發(fā)明（設(shè)計(jì)）人: 陳再妮;何自強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21
• 代理公司: 北京潤(rùn)平知識(shí)產(chǎn)權(quán)代理有限公司 11283
• 代理人: 肖冰濱;陳瀟瀟

1.一種基于負(fù)載自動(dòng)預(yù)測(cè)的數(shù)據(jù)庫(kù)自動(dòng)調(diào)優(yōu)方法，其特征在于，所述自動(dòng)調(diào)優(yōu)方法包括：

S1)基于歷史數(shù)據(jù)庫(kù)的歷史負(fù)載預(yù)測(cè)在線數(shù)據(jù)庫(kù)即將發(fā)生的負(fù)載；

S2)根據(jù)步驟S1)得到的所述在線數(shù)據(jù)庫(kù)即將發(fā)生的負(fù)載調(diào)整訓(xùn)練數(shù)據(jù)庫(kù)配置參數(shù)，得到優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)；

S3)將步驟S2)得到的優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)在與其對(duì)應(yīng)的在線數(shù)據(jù)庫(kù)負(fù)載實(shí)際發(fā)生時(shí)配置給所述在線數(shù)據(jù)庫(kù)。

2.根據(jù)權(quán)利要求1所述的自動(dòng)調(diào)優(yōu)方法，其特征在于，步驟S1)中，所述基于歷史數(shù)據(jù)庫(kù)的歷史負(fù)載預(yù)測(cè)在線數(shù)據(jù)庫(kù)即將發(fā)生的負(fù)載，包括：

S11)從所述歷史數(shù)據(jù)庫(kù)的歷史負(fù)載提取特征值，生成樣例；

S12)將所述步驟S11)中生成的所述樣例作為高斯回歸模型的輸入，預(yù)測(cè)歷史數(shù)據(jù)庫(kù)的即將發(fā)生的負(fù)載；

S13)將所述步驟S12)得到的所述歷史數(shù)據(jù)庫(kù)的即將發(fā)生的負(fù)載與所述歷史數(shù)據(jù)庫(kù)的歷史負(fù)載進(jìn)行比較，根據(jù)比較結(jié)果對(duì)所述高斯回歸模型進(jìn)行模型調(diào)整；

S14)重復(fù)步驟S11)-S13)直至得到所述歷史數(shù)據(jù)庫(kù)的即將發(fā)生的負(fù)載與所述歷史數(shù)據(jù)庫(kù)的歷史負(fù)載之間的誤差最小并且收斂時(shí)的高斯回歸模型；

S15)將所述誤差最小并且收斂時(shí)的高斯回歸模型用于基于歷史數(shù)據(jù)庫(kù)的歷史負(fù)載預(yù)測(cè)在線數(shù)據(jù)庫(kù)即將發(fā)生的負(fù)載。

3.根據(jù)權(quán)利要求1所述的自動(dòng)調(diào)優(yōu)方法，其特征在于，步驟S2)中，根據(jù)步驟S1)得到的所述在線數(shù)據(jù)庫(kù)即將發(fā)生的負(fù)載調(diào)整訓(xùn)練數(shù)據(jù)庫(kù)配置參數(shù)，得到優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)，包括：

在已存在所述即將發(fā)生的負(fù)載對(duì)應(yīng)的優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)的情況下，直接調(diào)用所述優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)；

當(dāng)不存在所述即將發(fā)生的負(fù)載對(duì)應(yīng)的優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)的情況下，通過(guò)線下實(shí)時(shí)訓(xùn)練獲得所述即將發(fā)生的負(fù)載對(duì)應(yīng)的優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)。

4.根據(jù)權(quán)利要求3所述的自動(dòng)調(diào)優(yōu)方法，其特征在于，所述通過(guò)線下實(shí)時(shí)訓(xùn)練獲得所述即將發(fā)生的負(fù)載對(duì)應(yīng)的優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)，包括：

通過(guò)調(diào)整TPCC配置的方式，或者通過(guò)抽取線上實(shí)際SQL進(jìn)行流量等比放大、縮小的方式，調(diào)整數(shù)據(jù)量和流量，在所述訓(xùn)練數(shù)據(jù)庫(kù)構(gòu)造所述在線數(shù)據(jù)庫(kù)即將發(fā)生的負(fù)載；

根據(jù)訓(xùn)練數(shù)據(jù)庫(kù)的SQL響應(yīng)時(shí)間和QPS不斷調(diào)整所述訓(xùn)練數(shù)據(jù)庫(kù)配置參數(shù)；

重復(fù)上述步驟M次，將所述M次重復(fù)中所述SQL響應(yīng)時(shí)間最短和QPS最大時(shí)的所述即將發(fā)生的負(fù)載對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)庫(kù)配置參數(shù)作為所述優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)。

5.根據(jù)權(quán)利要求3所述的自動(dòng)調(diào)優(yōu)方法，其特征在于，步驟S3)中，所述將步驟S2)得到的優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)在與其對(duì)應(yīng)的在線數(shù)據(jù)庫(kù)負(fù)載實(shí)際發(fā)生時(shí)配置給所述在線數(shù)據(jù)庫(kù)，包括：

監(jiān)測(cè)所述在線數(shù)據(jù)庫(kù)的負(fù)載變化情況，在存在與變化后負(fù)載對(duì)應(yīng)的優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)的情況下，將與變化后負(fù)載對(duì)應(yīng)的優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)配置給所述在線數(shù)據(jù)庫(kù)；

在不存在與變化后負(fù)載對(duì)應(yīng)的優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)的情況下，則返回步驟S2)進(jìn)行所述線下實(shí)時(shí)訓(xùn)練，直至獲得與變化后負(fù)載對(duì)應(yīng)的優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)。

6.根據(jù)權(quán)利要求5所述的自動(dòng)調(diào)優(yōu)方法，其特征在于，所述將與變化后負(fù)載對(duì)應(yīng)的優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)配置給所述在線數(shù)據(jù)庫(kù)，包括：

按照先修改在線數(shù)據(jù)庫(kù)的從庫(kù)，然后進(jìn)行在線數(shù)據(jù)庫(kù)的主庫(kù)和在線數(shù)據(jù)庫(kù)的從庫(kù)的切換，再修改在線數(shù)據(jù)庫(kù)的新從庫(kù)的方式進(jìn)行在線數(shù)據(jù)庫(kù)參數(shù)配置。

7.一種基于負(fù)載自動(dòng)預(yù)測(cè)的數(shù)據(jù)庫(kù)自動(dòng)調(diào)優(yōu)裝置，其特征在于，該自動(dòng)調(diào)優(yōu)裝置包括控制器，所述控制器被配置用于：

基于歷史數(shù)據(jù)庫(kù)的歷史負(fù)載預(yù)測(cè)在線數(shù)據(jù)庫(kù)即將發(fā)生的負(fù)載；

根據(jù)所述在線數(shù)據(jù)庫(kù)即將發(fā)生的負(fù)載調(diào)整訓(xùn)練數(shù)據(jù)庫(kù)配置參數(shù)，得到優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)；

將所述優(yōu)化后的數(shù)據(jù)庫(kù)配置參數(shù)在與其對(duì)應(yīng)的在線數(shù)據(jù)庫(kù)負(fù)載實(shí)際發(fā)生時(shí)配置給所述在線數(shù)據(jù)庫(kù)。