[發明專利]數據處理和查詢方法及裝置

在審

• 申請號: 201610875245.8
• 申請日: 2016-09-30
• 公開（公告）號: CN107885752A
• 公開（公告）日: 2018-04-06
• 發明（設計）人: 李國忠
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市惠誠律師事務所11353
• 代理人: 劉子敬

技術領域

本發明屬于數據處理領域，尤其涉及一種數據處理和查詢方法及裝置。

背景技術

在實時流數據落地存儲的過程中，首先需要將一個時間間隔內產生的流數據需要進行一次局部合并，生成一個局部數據，然后將讀取前面的累加數據，當前的流數據對應的局部數據與前面的累積數據再次進行累加，直到得到最后的累加數據。比如統計一分鐘的銷售額，可以每隔6秒算一個6s的銷售總額，6s對應的銷售總額就是一個局部數據，當到達第2次6s時，需要把第一次的6s對應的局部數據從落地的存儲端中讀取出來后，與第2個6s的局部數據進行累加。現有的實時流數據落地方法，整個落地過程需要內存對流數據的局部數據進行實時累積，計算壓力較大，而且需要先讀取一次數據再落地一次數據，耗費時間較長。

為了解決上述問題，現有技術中提出了一種多版本并發控制(Multi-Version Concurrency Control，簡稱MVCC)方案，在該方案中將每一個時間間隔內的流數據進行局部合并，生成一個局部數據，將該局部數據落地到存儲端，例如，需要查詢一天24小時內的銷售總額時，從00：00開始每隔6s進行一個局部合并，得到一個局部數據，在到達設定的24：00時，這24小時內生成的所有局部數據個數為14400，而針對海量或者較長時間的流數據處理時，由于MVCC方案中的存儲端中會存儲了所有時間間隔對應的局部數據，導致存儲端的存儲壓力較大。

發明內容

本發明提供一種數據處理和查詢方法及裝置，用于解決現有通過MVCC方案進行流數據落地時由于存儲端存儲所有的局部數據，存儲壓力較大的問題。

為了實現上述目的，本發明提供了一種數據處理方法，包括：

對實時流數據進行局部合并，得到至少一個局部數據；

將所述局部數據進行緩存；

在滿足預設的匯總條件時，對當前緩存的數據進行匯總，以得到匯總數據；其中所述當前緩存的數據至少包括所述局部數據。

為了實現上述目的，本發明提供了一種數據查詢方法，包括：

接收客戶端發送的查詢請求；

查詢接收到所述查詢請求時的匯總數據以及局部數據；其中，所述匯總數據為在滿足預設的匯總條件時，對當前緩存的數據進行匯總得到的數據，所述局部數據為對實時流數據進行局部合并得到的數據；

將接收到所述查詢請求時的匯總數據以及局部數據進行聚合，以得到聚合數據；

將所述聚合數據發送給所述客戶端。

為了實現上述目的，本發明提供了一種數據查詢方法，包括：

接收客戶端發送的查詢請求；

查詢接收到所述查詢請求時的匯總數據以及局部數據；其中，所述匯總數據為在滿足預設的匯總條件時，對當前緩存的數據進行匯總得到的數據，所述局部數據為對實時流數據進行局部合并得到的數據；

將接收到所述查詢請求時的匯總數據以及局部數據發送給所述客戶端。

為了實現上述目的，本發明提供了一種數據查詢方法，包括：

向存儲端發送查詢請求，以使所述存儲端根據所述查詢請求查詢接收到所述查詢請求時的匯總數據以及局部數據；其中，所述匯總數據為在滿足預設的匯總條件時，對當前緩存的數據進行匯總得到的數據，所述局部數據為對實時流數據進行局部合并得到的數據；

接收所述存儲端發送的所述匯總數據以及所述局部數據；

將所述匯總數據以及所述局部數據進行聚合得到聚合數據。

為了實現上述目的，本發明提供了一種數據處理裝置，包括：

局部合并模塊，用于對實時流數據進行局部合并，得到至少一個局部數據；

緩存模塊，用于將所述局部數據進行緩存；

匯總模塊，用于在滿足預設的匯總條件時，對當前緩存的數據進行匯總，以得到匯總數據；其中所述當前緩存的數據至少包括所述局部數據。

為了實現上述目的，本發明提供了一種數據查詢裝置，包括：

接收模塊，用于接收客戶端發送的查詢請求；

查詢模塊，用于查詢接收到所述查詢請求時的匯總數據以及局部數據；其中，所述匯總數據為在滿足預設的匯總條件時，對當前緩存的數據進行匯總得到的數據，所述局部數據為對實時流數據進行局部合并得到的數據；

聚合模塊，用于將接收到所述查詢請求時的匯總數據以及局部數據進行聚合，以得到聚合數據；

發送模塊，用于將所述聚合數據發送給所述客戶端。

為了實現上述目的，本發明提供了一種數據查詢裝置，包括：