[發(fā)明專利]一種數(shù)據(jù)處理的方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811337776.7
• 申請(qǐng)日: 2018-11-12
• 公開（公告）號(hào): CN110737673B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 單衛(wèi)華;殷暉
• 申請(qǐng)（專利權(quán)）人: 華為云計(jì)算技術(shù)有限公司
• 主分類號(hào): G06F16/242
• 分類號(hào): G06F16/242;G06F16/2453;G06F16/28;G06Q40/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種數(shù)據(jù)庫中的數(shù)據(jù)處理的方法，其特征在于，所述數(shù)據(jù)庫用于存儲(chǔ)多條數(shù)據(jù)，每條數(shù)據(jù)包括至少一個(gè)屬性；

所述數(shù)據(jù)庫中設(shè)置有數(shù)據(jù)渠，所述數(shù)據(jù)渠中包括M個(gè)聚合層，每個(gè)聚合層對(duì)應(yīng)一個(gè)聚合間隔，M個(gè)聚合間隔各不相同；

所述方法包括：

當(dāng)數(shù)據(jù)流中的第N條數(shù)據(jù)進(jìn)入所述數(shù)據(jù)渠，進(jìn)行所述M個(gè)聚合層中數(shù)據(jù)簇的刷新得到T個(gè)數(shù)據(jù)簇，N為大于等于1的整數(shù)，T≥M；

存儲(chǔ)所述T個(gè)數(shù)據(jù)簇；

其中，所述刷新包括：

根據(jù)所述第N條數(shù)據(jù)的第一目標(biāo)屬性的屬性值，獲得所述第N條數(shù)據(jù)在所述M個(gè)聚合層中分別對(duì)應(yīng)的M個(gè)數(shù)據(jù)簇，其中，如果所述數(shù)據(jù)庫中已生成所述第N條數(shù)據(jù)在第m個(gè)聚合層對(duì)應(yīng)的數(shù)據(jù)簇，則根據(jù)所述第N條數(shù)據(jù)的第一目標(biāo)屬性的屬性值對(duì)所述已經(jīng)生成的數(shù)據(jù)簇的聚合值進(jìn)行刷新，如果所述數(shù)據(jù)庫中未生成所述第N條數(shù)據(jù)在第m個(gè)聚合層對(duì)應(yīng)的數(shù)據(jù)簇，根據(jù)所述第N條數(shù)據(jù)的第一目標(biāo)屬性的屬性值進(jìn)行聚合計(jì)算生成數(shù)據(jù)簇，m為變量且取值范圍為1≤m≤M。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)渠還包括聚合起始標(biāo)記和容量信息，所述方法還包括：

根據(jù)所述數(shù)據(jù)渠的聚合起始標(biāo)記和容量確定所述數(shù)據(jù)渠的數(shù)據(jù)范圍；

確定所述第N條數(shù)據(jù)的第二目標(biāo)屬性的屬性值屬于所述數(shù)據(jù)渠的數(shù)據(jù)范圍后，執(zhí)行所述M個(gè)聚合層中數(shù)據(jù)簇的刷新。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，則所述方法還包括：

當(dāng)刷新所述數(shù)據(jù)渠的容量信息和/或所述數(shù)據(jù)渠的聚合起始標(biāo)記，根據(jù)刷新后的所述數(shù)據(jù)渠的容量信息或刷新后的所述數(shù)據(jù)渠的聚合起始標(biāo)記，刪除所述M個(gè)聚合中的老化數(shù)據(jù)簇。

4.根據(jù)權(quán)利要求1-3中任一所述的方法，其特征在于，每個(gè)聚合層包括本聚合層包含的數(shù)據(jù)簇的列表；

所述根據(jù)所述第N條數(shù)據(jù)的第一目標(biāo)屬性的屬性值進(jìn)行聚合計(jì)算生成數(shù)據(jù)簇之后，所述方法還包括：

更新第m個(gè)聚合層的數(shù)據(jù)簇列表。

5.根據(jù)權(quán)利要求1-3中任一所述的方法，其特征在于，所述方法還包括：

確定所述M個(gè)數(shù)據(jù)簇中每個(gè)數(shù)據(jù)簇的索引序號(hào)，其中，每個(gè)數(shù)據(jù)簇的索引序號(hào)用于表示當(dāng)前數(shù)據(jù)簇在其所歸屬的聚合層中的排序；

分別存儲(chǔ)每個(gè)數(shù)據(jù)簇的索引序號(hào)。

6.根據(jù)權(quán)利要求1-3中任一所述的方法，其特征在于，所述數(shù)據(jù)庫中存儲(chǔ)T個(gè)數(shù)據(jù)簇，所述T個(gè)數(shù)據(jù)簇為根據(jù)所述M個(gè)聚合間隔，分別對(duì)至少一條數(shù)據(jù)的第一目標(biāo)屬性的屬性值進(jìn)行聚合計(jì)算得到的，T≥M；

在所述方法還包括：

接收查詢請(qǐng)求，所述查詢請(qǐng)求包含查詢范圍；

根據(jù)所述查詢范圍，在所述M個(gè)聚合層中查詢得到所述T個(gè)數(shù)據(jù)簇中的至少兩個(gè)數(shù)據(jù)簇，其中，所述查詢得到的至少兩個(gè)數(shù)據(jù)簇歸屬于不同的聚合層，所述查詢得到的每個(gè)數(shù)據(jù)簇的數(shù)據(jù)范圍與所述查詢范圍存在交集，所述查詢得到的全部數(shù)據(jù)簇的數(shù)據(jù)范圍的并集與所述查詢范圍相同；

對(duì)所述查詢得到的至少兩個(gè)數(shù)據(jù)簇包括的聚合值進(jìn)行聚合計(jì)算，得到查詢結(jié)果。

7.根據(jù)權(quán)利要求6中的方法，其特征在于，所述根據(jù)所述查詢范圍，在所述M個(gè)聚合層中查詢得到所述T個(gè)數(shù)據(jù)簇中的至少兩個(gè)數(shù)據(jù)簇，具體包括：

根據(jù)所述查詢范圍，從第一聚合層遞減逐層匹配獲得每個(gè)聚合層上與所述查詢范圍匹配的數(shù)據(jù)簇，其中，所述第一聚合層為聚合間隔最大的聚合層。

8.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于，所述聚合間隔包括聚合時(shí)間間隔或聚合計(jì)數(shù)值間隔。