[發明專利]查詢系統、由查詢系統執行的方法及計算機可讀介質

在審

• 申請號: 202011183713.8
• 申請日: 2020-10-29
• 公開（公告）號: CN112749143A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 理查德·麥康奈爾
• 申請（專利權）人: 威訊柏睿數據科技（北京）有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/242
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 王紅艷

總體上，本公開描述了用于查詢系統、由查詢系統執行的方法及計算機可讀介質的技術。例如，查詢系統包括接口，接口被配置為接收用于訪問存儲在多個數據源中的第一數據的查詢。查詢系統包括用于與多個數據源接合的多個連接器接口。查詢系統還包括編譯器，編譯器被配置為編譯該查詢，以生成經編譯的查詢，該經編譯的查詢包括一個或多個指令，該一個或多個指令用于在執行該經編譯的查詢時獲得用于在一個或多個數據源處執行該經編譯的查詢的部分的一個或多個度量。查詢系統還包括優化器，優化器被配置為響應于接口接收到用于訪問存儲在多個數據源中的第二數據的后續查詢，而基于一個或多個度量為后續查詢優化查詢計劃。

本申請要求于2019年10月30日提交的美國臨時專利申請號62/928,108的權益，其全部內容通過引用結合于此。

技術領域

本公開涉及一種計算系統，并且具體地址，涉及優化計算系統中的查詢。

背景技術

數據存儲在諸如數據庫的存儲庫中。數據存儲在不同類型的數據庫中(諸如，關系型數據庫、非關系型數據庫、流數據庫等)。例如，關系型數據庫將數據存儲為一系列相關表中的行和列。相比之下，非關系型數據庫基于表格關系以外的模型存儲數據。例如，非關系型數據庫可以包括文檔數據庫、鍵值存儲、圖形存儲和列存儲。

查詢用于訪問(例如，寫入和檢索)存儲在數據庫中的數據。根據數據庫的類型，使用不同的查詢語言來訪問存儲在數據庫中的數據。例如，用戶可以使用關系型數據庫查詢(例如，結構化查詢語言(SQL))以查詢關系型數據庫。關系型數據庫查詢可以返回關系型數據庫的行。或者，用戶可以使用非關系型數據庫查詢(例如，NoSQL)以查詢非關系型數據庫(諸如，文檔數據庫)。非關系型數據庫查詢可以返回例如包含數據的文檔(諸如，JavaScript對象表示法(JSON)或可擴展標記語言(XML)文檔)。其他數據存儲庫包括數據湖、靜態網頁、數據流、存儲到文件系統的文件等。

發明內容

總體上，本公開描述了用于動態優化查詢的技術。例如，查詢系統可以訪問存儲滿足由查詢系統接收到的查詢所需的數據的多個異構數據源。查詢系統包括用于接收查詢的公共接口，并且自適應地下推查詢，以從異構數據源中檢索數據。查詢系統可以基于查詢的屬性或查詢在不同數據源處的執行來動態地測量或以其他方式獲得一個或多個度量。使用這些度量，查詢系統可以優化查詢或后續查詢。例如，查詢系統的查詢編譯器可以使用即時(JIT)或其他編譯器將當前或后續查詢編譯成字節碼，該字節碼可以基于查詢的屬性或用于在各種數據源處執行的查詢的最新度量來優化當前或后續查詢，從而動態地使查詢編譯適應例如動態資源或網絡條件，該動態資源或網絡條件影響查詢執行或從數據源檢索數據。以這種方式，在技術的一些示例中，至少部分因為查詢的編譯剛好發生在執行之前，所以查詢系統可以執行JIT編譯，該編譯基于查詢的屬性或指示在多個數據源處的先前查詢的性能的度量而針對查詢或數據源被優化。

在一些示例中，查詢系統的優化器可以指示編譯器在編譯查詢時添加測控(instrumentation)代碼(例如，計數器)，以在經編譯的查詢被執行時獲得一個或多個度量。度量可以包括操作數的大小(例如，從查詢返回的行數)、謂詞的選擇性、來自表的基數或由編譯查詢的執行產生的其他度量。響應于接收到后續查詢，優化器可以使查詢系統基于先前執行的查詢的度量來優化后續查詢。

本文描述的技術可以提供一個或多個技術優點，這些技術優點提供至少一個實際應用。例如，本公開中描述的技術混合使用較粗糙的散列查找技術，通過“較軟的”學習模型(基于從過去相似查詢獲得的度量)產生從傳統的基于成本的優化(當高置信度統計數據可用或已經獲得時)到以或多或少基于查詢本身的檢查和應用一些一般規則的低置信度“預感”的范圍的效果。