[發明專利]一種保障計算數據一致性的處理方法、裝置及系統

有效

• 申請號: 201610515844.9
• 申請日: 2016-07-01
• 公開（公告）號: CN106909598B
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 祁建程;張銳;梁麗;王森
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 李輝

本申請提供一種保障計算數據一致性的處理方法、裝置及系統。所述方法包括：讀取離線數據庫中的離線數據，根據所述離線數據的存儲統計時間確定所述離線數據同步延遲的延遲時間；從預先設置的實時流計算結果數據庫中讀取當前統計時間的實時數據，并讀取出與所述延遲時間相對應的實時數據作為業務計算的補償數據；基于所述離線數據、實時數據和補償數據執行業務計算。利用本申請各個實施例，可以實現解決因數據同步時間的不確定和延遲導致數據的不一致問題，保證推薦排序分計算準確性，降低業務計算的性能損耗，提高計算效率。

技術領域

本申請屬于數據庫數據處理技術領域，尤其涉及一種保障計算數據一致性的處理方法、裝置及系統。

背景技術

在目前的許多業務系統中，如商品推薦、精華帖推薦等，許多業務的統計、計算等常常需要使用離線存儲的歷史數據和當前實時數據相結合來計算輸出結果，以保障統計、計算結果的準確性。

例如在商品推薦系統中，可以根據用戶商品瀏覽的歷史記錄和當前瀏覽的商品，向用戶精確推薦用戶可能需要/正在尋找的商品。在商品推薦系統中，存儲的商品瀏覽次數特征數據通常既有第t-1天的歷史瀏覽次數hpv，也有實時統計的當日t實時瀏覽次特征數據rpv。目前在根據瀏覽次數進行統計計算時只是簡單的將這兩個特征數據簡單的加權計算a*hpv(t-1)+b*rpv。同樣的，在例如社區高質量帖子推薦系統中，在計算帖子的質量分時需要用到用戶對帖子的互動行為作為帖子質量分的計算因子，具體的通常可以包括歷史互動次數和實時互動次數(可以按天為同步時間單位)。

在如上述使用歷史離線數據和實時數據的商品或帖子推薦系統中，在計算推薦結果的數據處理時需要將歷史離線數據和實時數據進行同步合并，如將實時數據存入到歷史離線數據庫中，由業務系統調用讀取歷史離線數據庫中的次數數據進行計算處理。但在實際的數據存儲應用時，當天t生成的實時數據需要轉化為當天t的歷史離線數據同步存儲到數據庫中，但由于延時或網絡故障以及其他數據處理需求等，并不能保障每天生成的數據在設定時刻內都能進行同步存儲。假如設置將當天生成的歷史數據在每日零點開始同步，由于故障原因導致歷史數據延遲同步一天。那么在緊接著的第二天的商品或帖子推薦計算時，計算的值就變成a*hpv(t-2)+b*rpv，中間就會缺失了第t-1天的統計數據。目前來說，歷史數據延遲同步多長時間，通常就會有多長時間的統計數據缺失。

在如上述使用歷史離線數據和實時數據的帖子推薦系統中，由于帖子的更新頻率較快，尤其是帖子最近幾日的互動行為對帖子質量分的計算影響較大，如果計算第t天的統計結果時中間缺少了例如第t-1天的統計數據，那么顯然會嚴重影響帖子最終質量分計算的準確性。同樣的如用戶商品推薦、熱點關鍵詞搜索等這些需要將歷史離線數據和實時數據同步后結合統計計算輸出結果的系統中，因數據同步時間的延遲或不確定等，常常會導致計算處理的數據不一致，缺少延遲同步的數據，不能保證計算結果的準確性，甚至使得無法正常完成數據計算。

發明內容

本申請目的在于提供一種保障計算數據一致性的處理方法、裝置及系統，可以讓歷史離線數據與實時流計算的結果數據能夠實現無縫的結合，不會因數據同步時間的不確定和延遲導致數據的不一致，保證業務計算結果的準確性，降低業務計算的性能損耗，提高計算效率。

本申請提供的一種保障計算數據一致性的處理方法、裝置及系統是這樣實現的：

一種保障計算數據一致性的處理方法，所述方法包括：

讀取離線數據庫中的離線數據，根據所述離線數據的存儲統計時間確定所述離線數據同步延遲的延遲時間；

從預先設置的實時流計算結果數據庫中讀取當前統計時間的實時數據，并讀取出與所述延遲時間相對應的實時數據作為業務計算的補償數據；

基于所述離線數據、實時數據和補償數據執行業務計算。

一種保障計算數據一致性的處理裝置，所述裝置包括：