[發明專利]一種流計算中數據持久化的方法和系統

有效

• 申請號: 201710017458.1
• 申請日: 2017-01-10
• 公開（公告）號: CN108287854B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 俞智福;劉華明
• 申請（專利權）人: 網宿科技股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 北京華智則銘知識產權代理有限公司 11573
• 代理人: 王昌貴

本發明公開了一種流計算中數據持久化的方法和系統，本發明屬于數據存儲技術領域。所述方法包括：管理模塊發起一個任務；根據任務向數據源提取任務對應的key；根據key向數據源提取key對應的value，并進行數據處理由此生成中間數據和第一信號，存儲中間數據和第一信號；檢測第一信號是否完成存儲，并將檢測信息發送給管理模塊。采用本發明，可以有效地對中間數據持久化結果進行反饋，從而保證中間數據持久化的事務性。

技術領域

本發明涉及數據存儲技術領域，特別涉及一種流計算中數據持久化的方法和系統。

背景技術

流計算可以很好的對大規模流動的數據進行實時的分析處理，因此，流計算可以廣泛應用在社交網站、博客、電子郵件、視頻、新聞、電話記錄、傳輸數據、電子感應器之中。在利用流計算進行數據的分析處理時會產生大量的需要持久化的中間數據。目前，流計算中數據持久化的方法主要包括同步方式和異步方式，其中，同步方式在持久化中間數據時要等待操作的執行結果來保證數據持久化的事務性，該過程使得處理處于等待狀態，因此影響數據分析處理的速度。

現有技術中，流計算中數據持久化的方法中的異步方式的步驟包括：管理模塊發起一個任務；處理模塊，向所述數據源提取該任務對應的數據，并進行數據處理，生成中間數據和結果數據，兩個存儲模塊分別對中間數據和結果數據進行存儲。之后，管理模塊再次發起新任務，這樣，異步方式可以使得數據處理的速度不受影響，數據分析處理很快。

在實施本發明實施例的過程中，發明人發現現有技術中至少存在以下問題：

現有技術中，無法對中間數據持久化結果進行反饋，從而難以保證中間數據持久化的事務性。

發明內容

為了解決現有技術中的問題，本發明實施例提供了一種流計算中數據持久化的方法和系統。所述技術方案如下：

第一方面，本發明實施例提供的一種流計算中數據持久化的方法，包括：

管理模塊發起一個任務；

根據任務向數據源提取任務對應的key；

根據key向數據源提取key對應的value，并進行數據處理由此生成中間數據和第一信號，存儲中間數據和第一信號；

檢測第一信號是否完成存儲，并將檢測信息發送給管理模塊。

可選地，在生成中間數據和第一信號時，將第一信號插入到中間數據的尾部。

可選地，檢測第一信號是否完成存儲，并將檢測信息發送給管理模塊，包括：

通過輪詢方式檢測第一信號是否完成存儲，當檢測到第一信號完成存儲時，則向管理模塊發送第一成功應答。

可選地，檢測第一信號是否完成存儲，并將檢測信息發送給管理模塊，還包括：

當無法檢測到第一信號時，判斷檢測的次數是否達到預設閾值；

當檢測的次數達到預設閾值時，則向管理模塊發送失敗應答，或者

當檢測的次數未達到預設閾值時，則繼續檢測第一信號是否完成存儲。

可選地，在根據任務向數據源提取任務對應的key之后，所述方法還包括：

將執行列表中與任務對應的key進行比較，當key不包含在執行列表中時，將key加入執行列表中，并且根據執行列表中key向數據源提取執行列表中key對應的value，并進行數據處理由此生成中間數據和第一信號。

可選地，所述方法還包括：

當管理模塊接收到第一成功應答或者失敗應答，生成刪除信號；

根據刪除信號移除第一信號以及執行列表中對應任務的key。