[發(fā)明專利]一種數(shù)據(jù)庫執(zhí)行計(jì)劃的局部修正方法

有效

• 申請?zhí)枺?/td>: 201410206908.8
• 申請日: 2014-05-16
• 公開（公告）號: CN103984726B
• 公開（公告）日: 2017-03-29
• 發(fā)明（設(shè)計(jì)）人: 程永新;宋輝;孫玉穎
• 申請（專利權(quán)）人: 上海新炬網(wǎng)絡(luò)信息技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海科律專利代理事務(wù)所(特殊普通合伙)31290
• 代理人: 金碎平

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)庫執(zhí)行計(jì)劃處理方法，尤其涉及一種數(shù)據(jù)庫執(zhí)行計(jì)劃的局部修正方法。

背景技術(shù)

移動行業(yè)的核心業(yè)務(wù)系統(tǒng)(營業(yè)、賬務(wù)、計(jì)費(fèi))是對終端用戶有明顯感知的業(yè)務(wù)系統(tǒng)。由于這些系統(tǒng)承載的是移動最核心的業(yè)務(wù)，且在線處理事務(wù)量大，數(shù)據(jù)交互頻繁，對系統(tǒng)的高可用性、實(shí)時(shí)性要求都十分高，是對性能指標(biāo)要求十分嚴(yán)格的業(yè)務(wù)系統(tǒng)。但從另一方面來說，移動業(yè)務(wù)為適應(yīng)廣大客戶群體的需要，又源源不斷的變更原有業(yè)務(wù)、推出新業(yè)務(wù)，應(yīng)用開發(fā)部門就必須不斷發(fā)布新的應(yīng)用版本配合業(yè)務(wù)的發(fā)展需要。所以，移動核心業(yè)務(wù)系統(tǒng)不僅僅是一個(gè)性能要求高的在線系統(tǒng)，還是一個(gè)在接受頻繁變更沖擊中依然要求性能穩(wěn)定的在線系統(tǒng)。另外，伴隨著移動業(yè)務(wù)的快速發(fā)展，業(yè)務(wù)數(shù)據(jù)量持續(xù)快速增長，是對性能帶來沖擊的又一個(gè)因素。如何保證業(yè)務(wù)系統(tǒng)的性能優(yōu)越，又如何保證在不斷的變更中依然保持性能穩(wěn)定，這是現(xiàn)在面對的一個(gè)很重要的課題。現(xiàn)實(shí)中，對于一個(gè)技術(shù)框架固定、數(shù)據(jù)庫架構(gòu)穩(wěn)定的業(yè)務(wù)系統(tǒng)，保證數(shù)據(jù)庫保持高性能運(yùn)轉(zhuǎn)，提供支撐服務(wù)，快速地定位和解決性能問題，成為當(dāng)前非常重要的課題。

在數(shù)據(jù)庫的性能指標(biāo)中，CPU的使用率是最為重要的指標(biāo)，而在運(yùn)維過程中，除業(yè)務(wù)量突增的情況之外，CPU資源突然被耗盡，往往是某些數(shù)據(jù)庫會話同時(shí)出現(xiàn)latch：cache?buffers?chains的異常等待事件，目前一般是以自動監(jiān)控異常等待事件，當(dāng)超過閥值時(shí)，以告警的方式通知DBA，DBA通過自動化腳本或者手工及時(shí)進(jìn)行處理，使產(chǎn)生異常等待的SQL執(zhí)行恢復(fù)正常，消除異常等待，釋放CPU資源。

請參見圖1，現(xiàn)有數(shù)據(jù)庫自動監(jiān)控異常處理流程如下：

1)DBA部署程序?qū)崟r(shí)監(jiān)控?cái)?shù)據(jù)庫等待事件latch：cache?buffers?chains，當(dāng)超過閥值時(shí)自動告警，一般以短信或者值班人員電話等方式通知DBA；

2)通過異常等待會話，找到該會話相關(guān)SQL，并在系統(tǒng)性能視圖中定位SQL基線，以基線執(zhí)行計(jì)劃替換當(dāng)前執(zhí)行計(jì)劃，驗(yàn)證異常等待是否消除；

3)如果異常等待消除則流程結(jié)束，如果未消除則對SQL相關(guān)表進(jìn)行表分析，并重置執(zhí)行計(jì)劃；

4)如果異常等待消除則流程結(jié)束，如果未消除則需手工進(jìn)行處理，各表數(shù)據(jù)量及索引，憑經(jīng)驗(yàn)判斷，手工指定hint嘗試找到最佳執(zhí)行計(jì)劃，并將此執(zhí)行計(jì)劃通過profile進(jìn)行綁定；

5)如果異常等待消除則流程結(jié)束，如果未消除則重復(fù)步驟4)直至問題解決。

移動核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫在運(yùn)行過程中，以下情況導(dǎo)致數(shù)據(jù)表中的數(shù)據(jù)量不斷變化：1)前臺業(yè)務(wù)數(shù)據(jù)：在業(yè)務(wù)高峰增長迅速。2)歷史數(shù)據(jù)：在月末會從業(yè)務(wù)表到歷史表進(jìn)行搬遷。3)賬單及抵扣數(shù)據(jù)：在月初月結(jié)出賬時(shí)會急劇增多。4)接口數(shù)據(jù)及批處理數(shù)據(jù)：經(jīng)常插入刪除，數(shù)據(jù)量變化非常頻繁。

由于數(shù)據(jù)庫的統(tǒng)計(jì)信息采集窗口通常為一天一次，當(dāng)數(shù)據(jù)量突變時(shí)，統(tǒng)計(jì)信息不能反映當(dāng)前數(shù)據(jù)量的真實(shí)情況，導(dǎo)致指定錯(cuò)誤的執(zhí)行計(jì)劃，出現(xiàn)熱點(diǎn)塊問題，浪費(fèi)CPU資源。

由上可見，目前的處理方式存在以下技術(shù)缺點(diǎn)：

1)基線處理不夠準(zhǔn)確：當(dāng)以基線取代當(dāng)前執(zhí)行計(jì)劃時(shí)，基線在目前不一定是最優(yōu)的執(zhí)行計(jì)劃。

2)處理不夠及時(shí)：當(dāng)數(shù)據(jù)量達(dá)到上千萬的時(shí)候，表分析耗時(shí)會嚴(yán)重耽誤故障處理黃金時(shí)間。且為了提高速度，采樣比例也會較低，直方圖會存在一定誤差。手工處理時(shí)耗時(shí)會更多。

3)對人的依賴高：為縮短業(yè)務(wù)受影響的時(shí)長，需要維護(hù)人員快速作出處理，所以對維護(hù)人員的技術(shù)水平也存在依賴。如果做出錯(cuò)誤的判斷，可能不但解決不了原有的問題，還可能引出新的性能問題。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種數(shù)據(jù)庫執(zhí)行計(jì)劃的局部修正方法，當(dāng)數(shù)據(jù)量變化而執(zhí)行計(jì)劃未及時(shí)改變發(fā)生故障時(shí)，能夠及時(shí)對當(dāng)前執(zhí)行計(jì)劃進(jìn)行修正，使數(shù)據(jù)庫保持高效運(yùn)行，有效地避免熱點(diǎn)塊問題。

本發(fā)明為解決上述技術(shù)問題而采用的技術(shù)方案是提供一種數(shù)據(jù)庫執(zhí)行計(jì)劃的局部修正方法，包括如下步驟：a)通過任務(wù)調(diào)度層定義采集任務(wù)、任務(wù)調(diào)度頻率及啟用時(shí)間點(diǎn)，并定時(shí)連接到目標(biāo)數(shù)據(jù)庫；b)通過所述采集任務(wù)定位高頻次SQL及其涉及的相關(guān)數(shù)據(jù)表，并提取高頻次SQL執(zhí)行信息及相關(guān)數(shù)據(jù)表的統(tǒng)計(jì)信息保存至歷史信息采集庫；c)當(dāng)異常等待事件超過預(yù)設(shè)閾值時(shí)，對問題會話上的SQL及其涉及的相關(guān)數(shù)據(jù)表進(jìn)行拆分，每個(gè)數(shù)據(jù)表通過匹配歷史信息采集庫，選擇該數(shù)據(jù)表上的歷史執(zhí)行計(jì)劃，對現(xiàn)有執(zhí)行計(jì)劃進(jìn)行局部修正。