[發(fā)明專利]數(shù)據(jù)處理和查詢方法及裝置

在審

• 申請?zhí)枺?/td>: 201610875245.8
• 申請日: 2016-09-30
• 公開（公告）號: CN107885752A
• 公開（公告）日: 2018-04-06
• 發(fā)明（設(shè)計）人: 李國忠
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市惠誠律師事務(wù)所11353
• 代理人: 劉子敬

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

對實時流數(shù)據(jù)進(jìn)行局部合并，得到至少一個局部數(shù)據(jù)；

將所述局部數(shù)據(jù)進(jìn)行緩存；

在滿足預(yù)設(shè)的匯總條件時，對當(dāng)前緩存的數(shù)據(jù)進(jìn)行匯總，以得到匯總數(shù)據(jù)；其中所述當(dāng)前緩存的數(shù)據(jù)至少包括所述局部數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當(dāng)前緩存的數(shù)據(jù)均為局部數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當(dāng)前緩存的數(shù)據(jù)中包括上次滿足所述匯總條件時得到的匯總數(shù)據(jù)以及當(dāng)前匯總條件下的局部數(shù)據(jù)。

4.根據(jù)權(quán)利要求1-3任一項所述的方法，其特征在于，所述在滿足預(yù)設(shè)的匯總條件時，對當(dāng)前緩存的數(shù)據(jù)進(jìn)行匯總，以得到匯總數(shù)據(jù)之后，還包括：

清除經(jīng)過匯總后的所述局部數(shù)據(jù)；

緩存匯總得到的所述匯總數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對實施流數(shù)據(jù)進(jìn)行局部合并，得到至少一個局部數(shù)據(jù)，包括：

將預(yù)設(shè)的時間間隔內(nèi)的所有流數(shù)據(jù)進(jìn)行合并，以得到所述局部數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述匯總條件為預(yù)設(shè)的時間長度或者緩存的數(shù)據(jù)個數(shù)。

7.一種數(shù)據(jù)查詢方法，其特征在于，包括：

接收客戶端發(fā)送的查詢請求；

查詢接收到所述查詢請求時的匯總數(shù)據(jù)以及局部數(shù)據(jù)；其中，所述匯總數(shù)據(jù)為在滿足預(yù)設(shè)的匯總條件時，對當(dāng)前緩存的數(shù)據(jù)進(jìn)行匯總得到的數(shù)據(jù)，所述局部數(shù)據(jù)為對實時流數(shù)據(jù)進(jìn)行局部合并得到的數(shù)據(jù)；

將接收到所述查詢請求時的匯總數(shù)據(jù)以及局部數(shù)據(jù)進(jìn)行聚合，以得到聚合數(shù)據(jù)；

將所述聚合數(shù)據(jù)發(fā)送給所述客戶端。

8.一種數(shù)據(jù)查詢方法，其特征在于，包括：

接收客戶端發(fā)送的查詢請求；

查詢接收到所述查詢請求時的匯總數(shù)據(jù)以及局部數(shù)據(jù)；其中，所述匯總數(shù)據(jù)為在滿足預(yù)設(shè)的匯總條件時，對當(dāng)前緩存的數(shù)據(jù)進(jìn)行匯總得到的數(shù)據(jù)，所述局部數(shù)據(jù)為對實時流數(shù)據(jù)進(jìn)行局部合并得到的數(shù)據(jù)；

將接收到所述查詢請求時的匯總數(shù)據(jù)以及局部數(shù)據(jù)發(fā)送給所述客戶端。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述將接收到所述查詢請求時的匯總數(shù)據(jù)以及局部數(shù)據(jù)發(fā)送給所述客戶端之后，還包括：

接收所述客戶端返回的所述聚合數(shù)據(jù)，所述聚合數(shù)據(jù)是由所述客戶端對接收到所述查詢請求時的匯總數(shù)據(jù)以及局部數(shù)據(jù)進(jìn)行聚合得到的。

10.一種數(shù)據(jù)查詢方法，其特征在于，包括：

向存儲端發(fā)送查詢請求，以使所述存儲端根據(jù)所述查詢請求查詢接收到所述查詢請求時的匯總數(shù)據(jù)以及局部數(shù)據(jù)；其中，所述匯總數(shù)據(jù)為在滿足預(yù)設(shè)的匯總條件時，對當(dāng)前緩存的數(shù)據(jù)進(jìn)行匯總得到的數(shù)據(jù)，所述局部數(shù)據(jù)為對實時流數(shù)據(jù)進(jìn)行局部合并得到的數(shù)據(jù)；

接收所述存儲端發(fā)送的所述匯總數(shù)據(jù)以及所述局部數(shù)據(jù)；

將所述匯總數(shù)據(jù)以及所述局部數(shù)據(jù)進(jìn)行聚合得到聚合數(shù)據(jù)。

11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述將所述匯總數(shù)據(jù)以及所述局部數(shù)據(jù)進(jìn)行聚合得到聚合數(shù)據(jù)之后，包括：

將所述聚合數(shù)據(jù)發(fā)送給所述存儲端進(jìn)行存儲。

12.一種數(shù)據(jù)處理裝置，其特征在于，包括：

局部合并模塊，用于對實時流數(shù)據(jù)進(jìn)行局部合并，得到至少一個局部數(shù)據(jù)；

緩存模塊，用于將所述局部數(shù)據(jù)進(jìn)行緩存；

匯總模塊，用于在滿足預(yù)設(shè)的匯總條件時，對當(dāng)前緩存的數(shù)據(jù)進(jìn)行匯總，以得到匯總數(shù)據(jù)；其中所述當(dāng)前緩存的數(shù)據(jù)至少包括所述局部數(shù)據(jù)。

13.一種數(shù)據(jù)查詢裝置，其特征在于，包括：

接收模塊，用于接收客戶端發(fā)送的查詢請求；

查詢模塊，用于查詢接收到所述查詢請求時的匯總數(shù)據(jù)以及局部數(shù)據(jù)；其中，所述匯總數(shù)據(jù)為在滿足預(yù)設(shè)的匯總條件時，對當(dāng)前緩存的數(shù)據(jù)進(jìn)行匯總得到的數(shù)據(jù)，所述局部數(shù)據(jù)為對實時流數(shù)據(jù)進(jìn)行局部合并得到的數(shù)據(jù)；

聚合模塊，用于將接收到所述查詢請求時的匯總數(shù)據(jù)以及局部數(shù)據(jù)進(jìn)行聚合，以得到聚合數(shù)據(jù)；

發(fā)送模塊，用于將所述聚合數(shù)據(jù)發(fā)送給所述客戶端。