[發(fā)明專(zhuān)利]用于使用集群緩存進(jìn)行數(shù)據(jù)庫(kù)查詢(xún)的并行優(yōu)化的系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201580057201.8
• 申請(qǐng)日: 2015-11-27
• 公開(kāi)（公告）號(hào): CN107077453B
• 公開(kāi)（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 普拉森納·文卡特斯·拉瑪穆?tīng)柕?/a>;馬赫什·庫(kù)馬爾·巴赫熱
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華為技術(shù)有限公司
• 主分類(lèi)號(hào): G06F15/16
• 分類(lèi)號(hào): G06F15/16
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 李欣

1.一種用于從數(shù)據(jù)庫(kù)請(qǐng)求數(shù)據(jù)的數(shù)據(jù)庫(kù)查詢(xún)的并行優(yōu)化的系統(tǒng)，其特征在于，所述系統(tǒng)包括：

耦合到存儲(chǔ)器的處理器，并且所述處理器用于：

基于接收到的所述數(shù)據(jù)庫(kù)查詢(xún)的性質(zhì)和/或統(tǒng)計(jì)確定所述數(shù)據(jù)庫(kù)查詢(xún)是否需要進(jìn)行聚類(lèi)；

如果確定所述查詢(xún)需要進(jìn)行聚類(lèi)，基于接收到的所述數(shù)據(jù)庫(kù)查詢(xún)對(duì)所述數(shù)據(jù)庫(kù)中存在的數(shù)據(jù)進(jìn)行聚類(lèi)，并在查詢(xún)處理后向用戶(hù)顯示查詢(xún)的結(jié)果；

保留聚類(lèi)后數(shù)據(jù)，并由此創(chuàng)建包括集群元數(shù)據(jù)、至少一個(gè)數(shù)據(jù)元素以及保留的集群數(shù)據(jù)的至少一個(gè)集群緩存；以及

當(dāng)接收到新查詢(xún)并且如果所述新查詢(xún)與所述數(shù)據(jù)元素和/或所述集群元數(shù)據(jù)相匹配，重用來(lái)自所述集群緩存的所述聚類(lèi)后數(shù)據(jù)用于查詢(xún)處理；所述數(shù)據(jù)元素包括表ID、集群列、聚類(lèi)模型、過(guò)濾條件、存儲(chǔ)器親和性，或其任意組合中的至少一種；

所述集群緩存使用增量緩存更新模型進(jìn)行更新。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，如果所述聚類(lèi)后數(shù)據(jù)已在所述集群緩存中可用，重用所述聚類(lèi)后數(shù)據(jù)用于所述新查詢(xún)的處理。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述接收到的數(shù)據(jù)庫(kù)查詢(xún)的所述性質(zhì)是所述數(shù)據(jù)庫(kù)查詢(xún)的從包括以下各項(xiàng)的組中選擇的特征：(ⅰ)GROUP BY子句的屬性，(ⅱ)WHERE子句的屬性，(iii)JOIN子句的屬性，(ⅳ)HAVING子句的屬性，以及(v)分組聚合函數(shù)的屬性。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述統(tǒng)計(jì)是基于直方圖的統(tǒng)計(jì)或選擇性統(tǒng)計(jì)。

5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述聚類(lèi)通過(guò)從基于基數(shù)的聚類(lèi)，或基于散列的聚類(lèi)，或其任意組合中選擇的用于聚類(lèi)的技術(shù)中的任何一種執(zhí)行。

6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，基于所述系統(tǒng)的配置，所述聚類(lèi)后數(shù)據(jù)包括存儲(chǔ)在所述數(shù)據(jù)庫(kù)的表中的全局行ID或記錄，或存儲(chǔ)在所述數(shù)據(jù)庫(kù)的表中的記錄的子集中的至少一種。

7.一種用于從數(shù)據(jù)庫(kù)請(qǐng)求數(shù)據(jù)的數(shù)據(jù)庫(kù)查詢(xún)的并行優(yōu)化的方法，其特征在于，所述方法包括：

基于接收到的所述數(shù)據(jù)庫(kù)查詢(xún)的性質(zhì)和/或統(tǒng)計(jì)確定所述數(shù)據(jù)庫(kù)查詢(xún)是否需要進(jìn)行聚類(lèi)；

如果確定查詢(xún)需要進(jìn)行聚類(lèi)，基于接收到的所述數(shù)據(jù)庫(kù)查詢(xún)對(duì)所述數(shù)據(jù)庫(kù)中存在的數(shù)據(jù)進(jìn)行聚類(lèi)，并向用戶(hù)顯示查詢(xún)的結(jié)果；

保留聚類(lèi)后數(shù)據(jù)；

創(chuàng)建包括集群元數(shù)據(jù)、至少一個(gè)數(shù)據(jù)元素以及保留的集群數(shù)據(jù)的至少一個(gè)集群緩存；以及

當(dāng)接收到新查詢(xún)并且如果所述新查詢(xún)與所述數(shù)據(jù)元素和/或所述集群元數(shù)據(jù)相匹配，重用來(lái)自所述集群緩存的所述聚類(lèi)后數(shù)據(jù)用于所述新查詢(xún)的處理；所述數(shù)據(jù)元素包括表ID、集群列、聚類(lèi)模型、過(guò)濾條件、存儲(chǔ)器親和性，或其任意組合中的至少一種；

所述集群緩存使用增量緩存更新模型進(jìn)行更新。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，包括，如果所述聚類(lèi)后數(shù)據(jù)已在所述集群緩存中可用，重用所述聚類(lèi)后數(shù)據(jù)用于所述新查詢(xún)的處理。

9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述接收到的查詢(xún)的所述性質(zhì)包括JOIN或GROUP AGGREGATE、SORT、ORDER BY，或其任意組合。

10.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述統(tǒng)計(jì)是基于直方圖的統(tǒng)計(jì)或選擇性統(tǒng)計(jì)。

11.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述聚類(lèi)通過(guò)從基于基數(shù)的聚類(lèi)，或基于散列的聚類(lèi)，或其任意組合選擇的用于聚類(lèi)的技術(shù)中的任何一種執(zhí)行。

12.根據(jù)權(quán)利要求7所述的方法，其特征在于，基于系統(tǒng)的配置，所述聚類(lèi)后數(shù)據(jù)包括存儲(chǔ)在所述數(shù)據(jù)庫(kù)的表中的全局行ID或記錄，或存儲(chǔ)在所述數(shù)據(jù)庫(kù)的表中的記錄的子集中的至少一種。