[發明專利]無服務器數據湖索引子系統及應用編程接口

在審

• 申請號: 202180032980.1
• 申請日: 2021-03-16
• 公開（公告）號: CN115552390A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: R·波塔拉朱;吳文濤;T·Y·金;L·諾維克;A·戴維
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 吳巖琨

1.一種第一查詢引擎，其被配置為耦合到數據湖，所述數據湖被配置為存儲數據集和基于所述數據湖上的所述數據集的索引，所述第一查詢引擎還被配置為：

接收包括指向所述數據集的多個查詢的工作負荷；

基于所述多個查詢來生成候選索引集合；

基于確定由所述候選索引集合提供的對所述工作負荷的性能的估計性能改進，從所述候選索引集合中選擇預定數目的候選索引；以及

根據索引規范構建所選擇的所述候選索引中的索引，并且將構建索引存儲在所述數據湖上的預定位置處，所述預定位置和被包括在所述構建索引中的索引元數據符合所述索引規范。

2.根據權利要求1所述的第一查詢引擎，其中所述索引元數據描述以下一項或多項：

所述構建索引的內容；

所述構建索引的譜系；或者

所述構建索引的狀態。

3.根據權利要求2所述的第一查詢引擎，其中描述所述構建索引的所述內容的所述索引元數據包括以下一項或多項：

所述構建索引的名稱；

所述構建索引的類型；

所述構建索引的配置，包括索引列的標識和被包括的列的標識、以及每個列的類型；或者

所述構建索引的物理位置和布局。

4.根據權利要求2所述的第一查詢引擎，其中描述所述構建索引的所述譜系的所述索引元數據包括以下一項或多項：

一個或多個標識符，每個標識符對應于被索引的一個或多個數據源；

所述數據源被索引的時間；或者

所述構建索引的描述性歷史。

5.根據權利要求2所述的第一查詢引擎，其中描述所述構建索引的所述狀態的所述索引元數據包括啟用、禁用、創建或刪除的集合中的一個或多個狀態描述符。

6.根據權利要求4所述的第一查詢引擎，其中描述所述構建索引的所述譜系的所述索引元數據還包括用于創建所述構建索引的原始查詢的查詢計劃信息。

7.根據權利要求6所述的第一查詢引擎，其中所述數據湖還被配置為被耦合到與所述第一查詢引擎不同的第二查詢引擎，所述第二查詢引擎被配置為：

在所述數據湖中搜索被存儲在所述預定位置處的構建索引；

接收查詢；

基于通過所述搜索被找到的、針對每個構建索引的所述索引元數據，確定相應的所述構建索引是否能夠被用以優化用于執行所述查詢的查詢計劃，并且如果是，則優化所述查詢計劃以使用相應的所述構建索引；以及

執行經優化的查詢計劃以提供查詢結果。

8.根據權利要求7所述的第一查詢引擎，其中所述第一查詢引擎和所述第二查詢引擎還被配置為，基于描述所述構建索引的所述譜系的所述元數據來確定自與所述構建索引相對應的所述數據源被索引以來所述數據源是否已經被更新，并且如果是，則使用所述查詢計劃信息來重建所述索引。

9.一種查詢處理工作負荷優化系統，被配置為接收包括多個查詢的工作負荷，所述系統包括：

一個或多個處理器；以及

一個或多個存儲設備，由所述一個或多個處理器可訪問，所述一個或多個存儲設備存儲用于由所述一個或多個處理器執行的程序代碼，所述程序代碼包括：

第一查詢處理器，被耦合到數據湖、候選索引生成器和索引選擇器，其中：

所述候選索引生成器被配置為基于所述多個查詢來生成候選索引集合；以及

所述索引選擇器被配置為基于確定由所述候選索引集合提供的對所述工作負荷的性能的估計性能改進，從所述候選索引集合中選擇預定數目的候選索引；

所述第一查詢處理器被配置為：

根據索引規范構建所選擇的所述選候選索引中的索引，并且將構建索引存儲在所述數據湖上的預定位置處，所述預定位置和被包括在所述構建索引中的索引元數據符合所述索引規范；

接收查詢；

生成針對所述查詢的查詢計劃，其中所述查詢計劃被優化以使用所述構建索引；以及

執行所述查詢計劃以生成最終查詢結果。