[發(fā)明專利]一種基于圖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫查詢優(yōu)化方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110491751.8
• 申請日: 2021-05-06
• 公開（公告）號: CN113010547B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 范淑煥;侯孟書;何東升;廖建明;周世杰
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/2455;G06F16/22;G06N3/044;G06N3/045;G06N3/08
• 代理公司: 成都金英專利代理事務(wù)所(普通合伙) 51218
• 代理人: 袁英

本發(fā)明公開了一種基于圖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫查詢優(yōu)化方法及系統(tǒng)，方法包括：數(shù)據(jù)采集：根據(jù)數(shù)據(jù)的使用規(guī)律來合理的調(diào)節(jié)采樣行為；基數(shù)及代價估計：利用樹型圖神經(jīng)網(wǎng)絡(luò)提取查詢計劃樹的結(jié)構(gòu)特征，并使用圖卷積網(wǎng)絡(luò)提取各個數(shù)據(jù)列的關(guān)聯(lián)關(guān)系及連接的拓?fù)潢P(guān)系，從而建立基數(shù)及代價估計網(wǎng)絡(luò)模型；連接順序優(yōu)化：利用圖卷積算法提取查詢特征和連接順序特征，并利用強(qiáng)化學(xué)習(xí)算法感知數(shù)據(jù)庫真實環(huán)境，從而不斷優(yōu)化模型，從而提升連接順序決策的效果；通過對數(shù)據(jù)分布特征、關(guān)聯(lián)關(guān)系和數(shù)據(jù)庫環(huán)境特點的學(xué)習(xí)，建立基數(shù)估計模型和連接順序優(yōu)化模型，并將算法融合到分布式關(guān)系型數(shù)據(jù)庫中。本發(fā)明提高在邏輯優(yōu)化和物理優(yōu)化階段的算法效率，提升了查詢執(zhí)行速度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫領(lǐng)域，尤其涉及一種基于圖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫查詢優(yōu)化方法及系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)呈現(xiàn)井噴的趨勢，大數(shù)據(jù)成為信息時代的主旋律。對于數(shù)據(jù)庫領(lǐng)域而言，隨之面臨的難題就是如何有效的組織和管理數(shù)據(jù)。為了滿足存儲的需求，不斷催生了許多新型架構(gòu)的數(shù)據(jù)庫，但是對于查詢性能的優(yōu)化還未能取得突破性的發(fā)展。如何提升數(shù)據(jù)庫查詢執(zhí)行性能，一直是數(shù)據(jù)庫領(lǐng)域的重要研究方向，傳統(tǒng)數(shù)據(jù)庫查詢優(yōu)化方法已經(jīng)無法勝任當(dāng)前大規(guī)模的數(shù)據(jù)量以及新型架構(gòu)的數(shù)據(jù)庫。得益于人工智能技術(shù)的成熟發(fā)展，利用深度學(xué)習(xí)強(qiáng)大的學(xué)習(xí)能力，可以有效的解決諸多難題。人工智能技術(shù)和數(shù)據(jù)庫融合也成為當(dāng)前發(fā)展的重要方向之一，有不少研究也取得了不錯的進(jìn)展，但依然還面臨巨大的挑戰(zhàn)。

TiDB作為一個分布式關(guān)系型數(shù)據(jù)庫，本身已經(jīng)具備了良好的數(shù)據(jù)組織管理功能和查詢優(yōu)化功能，但是其中查詢優(yōu)化方法還是使用比較傳統(tǒng)的方式，如基數(shù)估計方式依舊采取利用獨立假設(shè)條件的概率估計計算方式，缺乏一定的靈活性和準(zhǔn)確度；而對于查詢影響較大的連接順序優(yōu)化，其主要采取基于基數(shù)估計的貪婪算法和動態(tài)規(guī)劃算法，錯誤的基數(shù)估計和算法復(fù)雜度較高的搜索算法，導(dǎo)致其缺乏一定的搜索效率和查詢性能的提升。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，針對查詢優(yōu)化中未能有效利用數(shù)據(jù)分布特征及關(guān)聯(lián)關(guān)系，有效的利用圖神經(jīng)網(wǎng)絡(luò)對于圖結(jié)構(gòu)數(shù)據(jù)的特征提取能力，分析查詢計劃樹的結(jié)構(gòu)特征以及數(shù)據(jù)數(shù)據(jù)關(guān)聯(lián)特征，提供一種基于圖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫查詢優(yōu)化方法及系統(tǒng)。

本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)的：

一種基于圖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫查詢優(yōu)化方法，包括以下步驟：

數(shù)據(jù)采集：根據(jù)數(shù)據(jù)的使用規(guī)律來合理的調(diào)節(jié)采樣的行為；

基數(shù)及代價估計：利用樹型圖神經(jīng)網(wǎng)絡(luò)提取查詢計劃樹的結(jié)構(gòu)特征，并使用圖卷積網(wǎng)絡(luò)提取各個數(shù)據(jù)列的關(guān)聯(lián)關(guān)系及連接的拓?fù)潢P(guān)系，從而建立基數(shù)及代價估計網(wǎng)絡(luò)模型；

連接順序優(yōu)化：利用圖卷積算法提取查詢特征和連接順序特征，并利用強(qiáng)化學(xué)習(xí)算法感知數(shù)據(jù)庫真實環(huán)境，以真實反饋來不斷優(yōu)化模型，從而提升連接順序決策的效果；

通過對數(shù)據(jù)分布特征、關(guān)聯(lián)關(guān)系、數(shù)據(jù)庫環(huán)境特點的學(xué)習(xí)，建立基數(shù)估計模型和連接順序優(yōu)化模型，并將算法融合到TiDB分布式關(guān)系型數(shù)據(jù)庫中。

進(jìn)一步的，所述數(shù)據(jù)采集包括全局性數(shù)據(jù)的采集、離線數(shù)據(jù)的采集和在線數(shù)據(jù)的采集；所述全局性數(shù)據(jù)的采集觸發(fā)點為主動式觸發(fā)，對修改的數(shù)據(jù)重新采樣，替換舊的數(shù)據(jù)；所述離線數(shù)據(jù)的采集可以通過維護(hù)一個數(shù)據(jù)池，對相關(guān)數(shù)據(jù)進(jìn)行大規(guī)模采樣，也可以依據(jù)算法的效果的情況決定是否采樣；所述在線數(shù)據(jù)的采集在算法主動請求數(shù)據(jù)時，根據(jù)請求從數(shù)據(jù)庫環(huán)境中加載數(shù)據(jù)，然后將數(shù)據(jù)返回給算法，完成一次數(shù)據(jù)同步過程。

進(jìn)一步的，所述基數(shù)及代價估計網(wǎng)絡(luò)模型利用Tree-LSTM結(jié)構(gòu)對查詢計劃數(shù)進(jìn)行特征提取，并用GCN的圖神經(jīng)網(wǎng)絡(luò)模型對列與列的關(guān)系進(jìn)行特征提取，設(shè)計并實現(xiàn)列結(jié)合兩種圖結(jié)構(gòu)的基數(shù)預(yù)估網(wǎng)絡(luò)模型。

進(jìn)一步的，還包括網(wǎng)絡(luò)遠(yuǎn)程調(diào)用，所述網(wǎng)絡(luò)遠(yuǎn)程調(diào)用利用gRPC實現(xiàn)，方便接入數(shù)據(jù)庫，包括以下步驟：