[發明專利]一種數據備份方法及流計算系統

有效

• 申請號: 201710482647.6
• 申請日: 2014-07-04
• 公開（公告）號: CN107451012B
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 夏命榛;史云龍
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種數據備份方法及流計算系統，該方法包括：目的PE從自身的接收隊列中讀取第一檢查點元組，若判斷所述第一檢查點元組的批號與當前批號相同，且與所述第一檢查點元組具有相同批號的所有元組都已處理完畢，則將自身的狀態數據備份至所述流計算系統的分布式存儲器中。本發明提供的數據備份方法和流計算系統，采用異步備份的方式，使得數據備份不受PE之間數據傳遞時延的影響，同時通過設置元組的批次，通過批號的比較，使得同一批號的所有元組到齊之后再進行狀態備份，保證了數據備份的一致性。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據備份方法以及一種流計算系統。

背景技術

近年來，數據密集型業務已經得到越來越廣泛的應用，這些業務的實例包括金融服務、網絡監控、電信數據管理、傳感檢測等等。數據密集型業務產生的數據具有數據量大、快速、時變的特點，流計算系統在接收流數據時就開始對其進行處理，以保證實時性。如圖1所示，流計算系統通常包括一個主控節點(Master)和多個工作節點(worker)，主控節點主要負責調度和管理各個工作節點，而工作節點是承載實際的數據處理操作的邏輯實體，工作節點具體通過調用若干個執行單元(PE，Process Element)來對數據進行處理，PE是業務邏輯的物理執行單元。

可以看出，流計算系統實質上是一個分布式集群系統，因此系統出現異常的概率較高，流計算系統發生故障可能會導致業務中斷或狀態數據丟失，為了保證流計算系統的可靠性，現有技術通常采用多節點備份機制，如圖2所示，周期性的將每個工作節點中的PE的狀態數據以及業務數據備份至其他工作節點的內存，當某個工作節點出現故障，則遷移到備份的工作節點繼續進行數據處理。

由于流計算系統是分布式數據處理系統，工作節點中的每個PE可能會處理多條數據流中的數據，同時，同一數據可能會同時被不同的PE處理，流計算系統中數據處理的并發性和無序性，以及PE之間數據傳遞的時延，會導致采用現有技術這種整體同步備份的方式，數據備份的一致性得不到保證。

發明內容

本發明實施例提供一種數據備份方法及流計算系統，用以保證分布式流計算系統中數據備份的一致性。

第一方面，本發明實施例提供了一種數據備份方法，應用于流計算系統中，所述流計算系統包括多個工作節點，所述多個工作節點通過調用多個執行單元PE來對待處理的元組進行處理，所述多個執行單元包括：源PE和目的PE；所述源PE將自身的發送隊列中緩存的元組發送到所述目的PE的接收隊列中，所述目的PE讀取自身的接收隊列中的元組并進行處理；所述源PE的發送隊列中緩存的元組包括普通元組和檢查點元組，且每個元組攜帶有用于表示該元組批次的批號；其中，檢查點元組用于指示PE進行數據備份或數據恢復；所述源PE的發送隊列中不同的檢查點元組具有不同的批號，處于相鄰的兩個檢查點元組之間的普通元組具有相同的批號，且每個檢查點元組的批號與其相鄰的一個普通元組的批號相同；所述數據備份方法包括：

所述目的PE從自身的接收隊列中讀取第一檢查點元組，所述第一檢查點元組用于指示所述目的PE進行狀態數據備份；

所述目的PE判斷所述第一檢查點元組的批號與當前批號是否相同，以及與所述第一檢查點元組具有相同批號的所有普通元組是否都已處理完畢；所述當前批號為所述目的PE當前處理的普通元組的批號；

若所述第一檢查點元組的批號與所述當前批號相同，且與所述第一檢查點元組具有相同批號的所有普通元組都已處理完畢，則所述目的PE將自身的狀態數據進行備份；其中，所述目的PE的狀態數據包括所述目的PE在處理所述普通元組過程中產生的數據。

在第一方面的第一種可能的實現方式中，所述數據備份方法還包括：

所述目的PE從自身的接收隊列中讀取第二檢查點元組，所述第二檢查點元組用于指示所述目的PE進行狀態數據恢復；

所述目的PE加載自身備份的狀態數據，并基于所述備份的狀態數據進行狀態恢復和數據回放。