[發明專利]數據處理、查詢方法和裝置

在審

• 申請號: 201811014687.9
• 申請日: 2018-08-31
• 公開（公告）號: CN110874366A
• 公開（公告）日: 2020-03-10
• 發明（設計）人: 李煒;宋華青
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2453
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 許紅英

本發明實施例提供一種數據處理、查詢方法和裝置，通過分析加速表得到至少一組用于生成物化表的字段組合；根據分析得到每組字段組合創建對應的物化表，實現創建生成物化表的過程自動化；進一步，使用皮爾遜相關系數的方式優化生成的物化表。從而可以根據物化表自動判斷并操作哪些數據需要物化。進一步地，在查詢數據是，只需查詢物化表中存在輸入的查詢字段時，即可直接從物化表到處需要查詢的數據，從而大大提高了數據查詢效率。因此，可以解決現有技術中因此數據量、結構化查詢語言(SQL)的復雜度等原因導致查詢出數據的過程緩慢，不能滿足系統響應的性能的問題。

技術領域

本發明涉及數據挖掘技術領域，尤其涉及一種數據處理、查詢方法和裝置。

背景技術

目前，用戶在數據分析平臺執行數據查詢時，由于數據量、結構化查詢語言(SQL)的復雜度等原因導致查詢出數據的過程緩慢，不能滿足系統響應的性能。

發明內容

為了解決上述問題，本發明提供一種數據處理、查詢方法和裝置，可以大大提高數據查詢效率。

本發明實施例提供一種數據處理方法，包括：

分析加速表得到至少一組用于生成物化表的字段組合，所述加速表是指為了提高數據查詢速度而構建的用于存放用戶從數據倉庫中選出的數據范圍的數據庫；

根據分析得到的每組字段組合創建對應的物化表，所述物化表是根據所述字段組合對所述加速表中的數據范圍進行查詢細分的數據庫。

可選地，分析加速表得到至少一組物化表的字段組合，包括：

分析所述加速表的表結構信息、表數據信息和歷史查詢SQL信息，根據分析的信息得到用于生成物化表的字段組合。

可選地，分析所述加速表的表結構信息、表數據信息和歷史查詢SQL信息，根據分析的信息得到用于生成物化表的字段組合，包括：

分析所述表結構信息，得到各個字段的數據類型；

分析所述表數據信息，根據各個字段的數據類型，確定用于生成物化表的第一字段集；

分析所述歷史查詢SQL信息使用的字段、過濾條件、排序條件，使用皮爾遜相關性系數計算各字段的相關性，得到第二字段集，所述第二字段集中包括多組具有高相關性的字段組合；

根據所述第一字段集和所述第二字段集確定多組用于生成物化表的字段組合。

可選地，根據分析得到的每組字段組合創建對應的物化表之后包括：

建立所述物化表與其對應的字段組合之間的映射關系。

本申請還提供一種數據查詢方法，包括：

根據用戶輸入的字段組合，查詢字段組合與物化表之間的映射關系，確定存在與所述字段組合對應的物化表；

在所述物化表中確定所述字段組合指向的數據。

可選地，查詢物化表之前包括：

分析加速表得到至少一組用于生成物化表的字段組合，所述加速表是指為了提高數據查詢速度而構建的用于存放用戶從數據倉庫中選出的數據范圍的數據庫；

根據分析得到的每組字段組合創建對應的物化表，所述物化表是根據所述字段組合對所述加速表中的數據范圍進行查詢細分的數據庫。

可選地，分析加速表得到至少一組物化表的字段組合，包括：

分析所述加速表的表結構信息、表數據信息和歷史查詢SQL信息，根據分析的信息得到用于生成物化表的字段組合。

可選地，分析所述加速表的表結構信息、表數據信息和歷史查詢SQL信息，根據分析的信息得到用于生成物化表的字段組合，包括：