[發(fā)明專利]數(shù)據(jù)處理、查詢方法和裝置

在審

• 申請?zhí)枺?/td>: 201811014687.9
• 申請日: 2018-08-31
• 公開（公告）號(hào): CN110874366A
• 公開（公告）日: 2020-03-10
• 發(fā)明（設(shè)計(jì)）人: 李煒;宋華青
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F16/242
• 分類號(hào): G06F16/242;G06F16/2453
• 代理公司: 北京太合九思知識(shí)產(chǎn)權(quán)代理有限公司 11610
• 代理人: 許紅英

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

分析加速表得到至少一組用于生成物化表的字段組合，所述加速表是指為了提高數(shù)據(jù)查詢速度而構(gòu)建的用于存放用戶從數(shù)據(jù)倉庫中選出的數(shù)據(jù)范圍的數(shù)據(jù)庫；

根據(jù)分析得到的每組字段組合創(chuàng)建對應(yīng)的物化表，所述物化表是根據(jù)所述字段組合對所述加速表中的數(shù)據(jù)范圍進(jìn)行查詢細(xì)分的數(shù)據(jù)庫。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，分析加速表得到至少一組物化表的字段組合，包括：

分析所述加速表的表結(jié)構(gòu)信息、表數(shù)據(jù)信息和歷史查詢SQL信息，根據(jù)分析的信息得到用于生成物化表的字段組合。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，分析所述加速表的表結(jié)構(gòu)信息、表數(shù)據(jù)信息和歷史查詢SQL信息，根據(jù)分析的信息得到用于生成物化表的字段組合，包括：

分析所述表結(jié)構(gòu)信息，得到各個(gè)字段的數(shù)據(jù)類型；

分析所述表數(shù)據(jù)信息，根據(jù)各個(gè)字段的數(shù)據(jù)類型，確定用于生成物化表的第一字段集；

分析所述歷史查詢SQL信息使用的字段、過濾條件、排序條件，使用皮爾遜相關(guān)性系數(shù)計(jì)算各字段的相關(guān)性，得到第二字段集，所述第二字段集中包括多組具有高相關(guān)性的字段組合；

根據(jù)所述第一字段集和所述第二字段集確定多組用于生成物化表的字段組合。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)分析得到的每組字段組合創(chuàng)建對應(yīng)的物化表之后包括：

建立所述物化表與其對應(yīng)的字段組合之間的映射關(guān)系。

5.一種數(shù)據(jù)查詢方法，其特征在于，包括：

根據(jù)用戶輸入的字段組合，查詢字段組合與物化表之間的映射關(guān)系，確定存在與所述字段組合對應(yīng)的物化表；

在所述物化表中確定所述字段組合指向的數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，查詢物化表之前包括：

分析加速表得到至少一組用于生成物化表的字段組合，所述加速表是指為了提高數(shù)據(jù)查詢速度而構(gòu)建的用于存放用戶從數(shù)據(jù)倉庫中選出的數(shù)據(jù)范圍的數(shù)據(jù)庫；

根據(jù)分析得到的每組字段組合創(chuàng)建對應(yīng)的物化表，所述物化表是根據(jù)所述字段組合對所述加速表中的數(shù)據(jù)范圍進(jìn)行查詢細(xì)分的數(shù)據(jù)庫。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，分析加速表得到至少一組物化表的字段組合，包括：

分析所述加速表的表結(jié)構(gòu)信息、表數(shù)據(jù)信息和歷史查詢SQL信息，根據(jù)分析的信息得到用于生成物化表的字段組合。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，分析所述加速表的表結(jié)構(gòu)信息、表數(shù)據(jù)信息和歷史查詢SQL信息，根據(jù)分析的信息得到用于生成物化表的字段組合，包括：

分析所述表結(jié)構(gòu)信息，得到各個(gè)字段的數(shù)據(jù)類型；

分析所述表數(shù)據(jù)信息，根據(jù)各個(gè)字段的數(shù)據(jù)類型，確定用于生成物化表的第一字段集；

分析所述歷史查詢SQL信息使用的字段、過濾條件、排序條件，使用皮爾遜相關(guān)性系數(shù)計(jì)算各字段的相關(guān)性，得到第二字段集，所述第二字段集中包括多組具有高相關(guān)性的字段組合；

根據(jù)所述第一字段集和所述第二字段集確定多組用于生成物化表的字段組合。

9.根據(jù)權(quán)利要求6所述的方法，其特征在于，根據(jù)分析得到的每組字段組合創(chuàng)建對應(yīng)的物化表之后包括：

建立所述物化表與其對應(yīng)的字段組合之間的映射關(guān)系。

10.一種數(shù)據(jù)處理裝置，其特征在于，包括：

分析模塊，用于分析加速表得到至少一組用于生成物化表的字段組合；

創(chuàng)建模塊，用于根據(jù)分析得到的每組字段組合創(chuàng)建對應(yīng)的物化表。

11.一種數(shù)據(jù)查詢裝置，其特征在于，包括：

查詢模塊，用于根據(jù)用戶輸入的字段組合，查詢字段組合與物化表之間的映射關(guān)系，確定存在與所述字段組合對應(yīng)的物化表；

確定模塊，用于在所述物化表中確定所述字段組合指向的數(shù)據(jù)。