[發明專利]一種基于生成式預訓練模型的自動化SQL優化方法

有效

• 申請號: 202310760270.1
• 申請日: 2023-06-27
• 公開（公告）號: CN116501764B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 宋云生;劉雯;陳桂武;趙新陽;李慶安
• 申請（專利權）人: 深圳聯友科技有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/242;G06F16/2455;G06F18/214;G06F16/22
• 代理公司: 深圳市順天達專利商標代理有限公司 44217
• 代理人: 高占元

本發明提供了一種基于生成式預訓練模型的自動化SQL優化方法，包括以下步驟：S1，將大量能在仿真測試環境執行的SQL存入歷史SQL實例庫中形成待優化SQL實例集，將待優化SQL實施例集批量傳輸至生成式預訓練模型后生成多個待選SQL實例集，并將生成的優化SQL實例集與待優化SQL實例集合并為一個待選SQL數據集；S2，通過深度神經網絡算法構建SQL評估模型，通過結合生成式預訓練模型、深度學習SQL相對效率評估模型，用于提高SQL執行效率，降低SQL優化門檻。同時也提高了待選SQL語句生成的多樣性，通過構建專有的評價函數與生成模型結合微調，提高SQL性能和準確性，從而更好地滿足企業級應用程序的需求，同時也為用戶提供了更準確、專業和方便的SQL優化服務。

技術領域

本發明涉及大數據處理技術領域，更具體地說，涉及一種基于生成式預訓練模型的自動化SQL優化方法。

背景技術

數據庫是企業級應用程序中最常用的數據存儲和處理系統之一。數據庫中的SQL語句是查詢和連接數據的重要語言。然而，由于SQL語句的復雜性和多樣性，不通水平的開發人員所寫的SQL其效率及資源占用情況千差萬別，如執行緩慢，占用了大量時間，或者發生占用CPU和內存過多的情況，給企業帶來大量的資源浪費，嚴重時會導致數據庫崩潰從而引發擠兌故障或宕機。開發者本身的惰性或者有些開發者不具有優化SQL的技術能力。此外，由于SQL語句的執行結果會受到多種因素的影響，例如查詢的參數、表的結構、索引的選取等，因此，對SQL語句進行手動優化往往需要花費大量的人力，很難在硬件資源節省和人力資源浪費上做平衡。

現有技術一般從SQL語法、表結構和機器學習的角度考慮，構建SQL優化規則引擎，生成相同執行結果的SQL。或者基于語法結構樹和SQL解析器對源SQL語句進行解析獲取關鍵字、表關系及條件等語法組件，使用機器學習、深度學習的手段組合這些規則重構SQL語句，然后對SQL語句進行效果評估，篩選較優的SQL語句，如現有公開的專利號為CN113505141A的基于人工智能實現數據庫SQL優化執行的自動化方法及系統。

總體來說，現有的基于規則和機器學習、深度學習引擎的SQL優化方案具有一定的應用價值，然而，現有的SQL優化工具仍然存在一些挑戰和局限性。由于規則的解析獲取、解析出來的組件多寡等問題限制了SQL優化的備選項，其智能的程度非常小，以往方案對SQL的優勢評估考慮的不完備，僅考慮SQL的耗時，未能從CPU核數、內存占用等資源使用情況上進行全面評估。

現有技術存在的缺點：

（1）SQL重構生成能力有限：基于規則、語法樹分析的SQL重構系統盡管使用了機器學習或深度神經網絡學習，其本質上還是一種基于已經解析的組件的重構，并非生成式，無法基于語義級別自動生成待選SQL，更不可能對企業自身數據庫及表結構等知識進行學習調優，且如果解析的組件在模型學習訓練階段未加入到訓練數據，則無法重組最優的待選SQL甚至重組SQL這個任務都無法完成。

（2）SQL優化的效果評估不全面：在篩選SQL備選方案時，僅僅把耗時或者執行速度作為目標，忽略了資源占用情況，如CPU核數占用，內存占用，理論上占用資源越大，可能SQL執行的速度更快，但這不一定是SQL重組帶來的優勢。

（3）SQL優化的效果評估未與機器學習形成聯動：評估驗證后的模型數據需要重新錄入SQL生成模型訓練，以調節模型的生成方向，但目前的方案沒有形成迭代聯動，且受限于目標簡單，重構而不是生成，即使聯動效果有限，機器并沒有辦法重組更加有效的待選SQL。

發明內容

本發明要解決的技術問題在于，針對上述技術方案存在的不足，提供一種效率高、準確、易于使用的基于生成式預訓練模型的自動化SQL優化方法。

本發明提供一種基于生成式預訓練模型的自動化SQL優化方法，所述方法包括以下步驟：