[發(fā)明專利]一種數(shù)據(jù)處理的方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201811337593.5
• 申請日: 2018-11-12
• 公開（公告）號: CN110737727B
• 公開（公告）日: 2023-09-29
• 發(fā)明（設(shè)計）人: 單衛(wèi)華;殷暉
• 申請（專利權(quán)）人: 華為云計算技術(shù)有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/245;G06Q40/04
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 李欣

1.一種數(shù)據(jù)庫中的數(shù)據(jù)處理的方法，其特征在于，所述方法包括：

獲取數(shù)據(jù)庫中至少一條數(shù)據(jù)，每條數(shù)據(jù)包括至少一個屬性；其中，所述數(shù)據(jù)庫中設(shè)置有數(shù)據(jù)渠，所述數(shù)據(jù)渠的數(shù)據(jù)范圍隨時間發(fā)生或進(jìn)入所述數(shù)據(jù)庫的數(shù)據(jù)量變化；所述數(shù)據(jù)渠包括M個聚合層，每個聚合層對應(yīng)一個聚合間隔；

根據(jù)M個聚合間隔，分別對所述至少一條數(shù)據(jù)的第一目標(biāo)屬性的屬性值進(jìn)行聚合計算得到T個數(shù)據(jù)簇，其中，所述M個聚合間隔各不相同，每個數(shù)據(jù)簇包括聚合值，每個數(shù)據(jù)簇的聚合值為根據(jù)本數(shù)據(jù)簇所對應(yīng)的聚合間隔針對所述第一目標(biāo)屬性的屬性值聚合計算得到，所述M為大于等于2的整數(shù)，T≥M；所述至少一條數(shù)據(jù)的第二目標(biāo)屬性的屬性值屬于所述數(shù)據(jù)渠的數(shù)據(jù)范圍；

存儲所述T個數(shù)據(jù)簇；

其中，所述獲取至少一條數(shù)據(jù)包括：

接收數(shù)據(jù)流中的第N條數(shù)據(jù)，N為大于等于1的整數(shù)；

所述根據(jù)M個聚合間隔，分別對所述至少一條數(shù)據(jù)的第一目標(biāo)屬性的屬性值進(jìn)行聚合計算得到T個數(shù)據(jù)簇，包括：

根據(jù)所述第N條數(shù)據(jù)的第一目標(biāo)屬性的屬性值，確定所述第N條數(shù)據(jù)在所述M個聚合層中分別對應(yīng)的M個數(shù)據(jù)簇；

如果所述數(shù)據(jù)庫中已經(jīng)生成所述第N條數(shù)據(jù)在第m個聚合層對應(yīng)的數(shù)據(jù)簇，則根據(jù)所述第N條數(shù)據(jù)的第一目標(biāo)屬性的屬性值對所述已經(jīng)生成的數(shù)據(jù)簇的聚合值進(jìn)行刷新，m為變量且取值范圍為1≤m≤M；

如果所述數(shù)據(jù)庫中未生成所述第N條數(shù)據(jù)在第m個聚合層對應(yīng)的數(shù)據(jù)簇，對所述第N條數(shù)據(jù)的第一目標(biāo)屬性的屬性值進(jìn)行聚合計算生成數(shù)據(jù)簇。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：預(yù)先設(shè)置M個聚合層，每個聚合層對應(yīng)一個聚合間隔，所述M個聚合間隔的任意兩個相鄰的聚合間隔具有父子關(guān)系，父聚合間隔為子聚合間隔的整數(shù)倍。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述獲取至少一條數(shù)據(jù)包括：

獲取所述數(shù)據(jù)庫中存儲的至少一條數(shù)據(jù)；

所述根據(jù)M個聚合間隔，分別對所述至少一條數(shù)據(jù)的第一目標(biāo)屬性的屬性值進(jìn)行聚合計算得到T個的數(shù)據(jù)簇，包括：

根據(jù)第m個聚合間隔，對所述至少一條數(shù)據(jù)的第一目標(biāo)屬性的屬性值進(jìn)行聚合計算得到第m個聚合層，所述第m個聚合層包括至少一個數(shù)據(jù)簇，m為變量且取值范圍為1≤m≤M。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

接收查詢請求，所述查詢請求包含查詢范圍；

根據(jù)所述查詢范圍，在所述M個聚合層中查詢得到至少兩個數(shù)據(jù)簇，其中，所述查詢得到的至少兩個數(shù)據(jù)簇歸屬于不同的聚合層，所述查詢得到的每個數(shù)據(jù)簇的數(shù)據(jù)范圍與所述查詢范圍存在交集，所述查詢得到的全部數(shù)據(jù)簇的數(shù)據(jù)范圍的并集與所述查詢范圍相同；

對所述查詢得到的至少兩個數(shù)據(jù)簇包括的聚合值進(jìn)行聚合計算，得到查詢結(jié)果。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述查詢范圍，在所述M個聚合層中查詢得到至少兩個數(shù)據(jù)簇，具體包括：

根據(jù)所述查詢范圍，從第一聚合層遞減逐層匹配獲得每個聚合層上與所述查詢范圍匹配的數(shù)據(jù)簇，其中，所述第一聚合層為聚合間隔最大的聚合層。

6.根據(jù)權(quán)利要求2、4、5中任一項所述的方法，其特征在于，每個聚合層還包括每個聚合層的聚合算法。

7.根據(jù)權(quán)利要求2、4、5中任一項所述的方法，其特征在于，每個聚合層還包括數(shù)據(jù)簇列表，每個聚合層的數(shù)據(jù)簇列表用于存儲本聚合層所包含的數(shù)據(jù)簇；

所述根據(jù)M個聚合間隔，分別對所述至少一條數(shù)據(jù)的第一目標(biāo)屬性的屬性值進(jìn)行聚合計算得到T個數(shù)據(jù)簇之后，所述方法還包括：

更新每個數(shù)據(jù)簇所屬的聚合層的數(shù)據(jù)簇列表。

8.根據(jù)權(quán)利要求2、4、5中任一項所述的方法，其特征在于，所述方法還包括：

確定每個數(shù)據(jù)簇的索引序號，其中，每個數(shù)據(jù)簇的索引序號用于表示當(dāng)前數(shù)據(jù)簇在其所歸屬的聚合層中的排序；

分別存儲每個數(shù)據(jù)簇的索引序號。