[發明專利]任務遷移的方法、調度器、電子設備及可讀存儲介質

在審

• 申請號: 202211401217.4
• 申請日: 2022-11-09
• 公開（公告）號: CN115756779A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 沈泰寧;劉奇;黃東旭;崔秋
• 申請（專利權）人: 平凱星辰（北京）科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京市立方律師事務所 11330
• 代理人: 張筱寧

本申請實施例提供了一種任務遷移的方法、調度器、電子設備及可讀存儲介質，涉及分布式實時流處理技術領域。該方法包括：當確定第一調度單元對目標任務進行預熱完畢時，向第二調度單元發送任務中斷指令以及第一請求；任務中斷指令用于指示第二調度單元中斷執行目標任務，第一請求用于獲取第一保存點；第一保存點表征截止到任務中斷時刻第二調度單元處理完成的最后一個數據；向第一調度單元發送任務啟動指令，任務啟動指令用于指示第一調度單元采集并處理目標數據，目標數據為目標任務中的處理順序在第一保存點之后的數據。本申請實施例降低了預熱階段產生的延時，避免了對預熱階段積壓的數據進行處理，降低了處理階段產生的延時。

技術領域

本申請涉及分布式實時流處理技術領域，具體而言，本申請涉及一種任務遷移的方法、調度器、電子設備及可讀存儲介質。

背景技術

隨著數據量的增大，對數據進行分布式實時流處理的必要性越來越強，為了提高吞吐量，進行分布式實時流處理的任務往往運行于多個調度單元，即由多個調度單元共同執行這一項任務，調度單元為進程或線程，每個調度單元時刻都在獲取執行任務需要的數據，在執行任務的過程中對獲取的數據進行處理。

任務調度是指將一個任務從原始調度單元遷移到另一個新的調度單元，現有方案在進行任務調度時，需要先中斷原始調度單元對任務的執行，然后啟動另一個新的調度單元，由該新的調度單元繼續執行該任務。

上述新的調度單元繼續執行任務包括兩個階段：預熱階段和處理階段。其中，在預熱階段，新的調度單元需要確定原始調度單元中斷執行任務時中斷時刻對應的保存點，并從數據源獲取該保存點之后的數據，由于在預熱階段，新的調度單元只能獲取數據源的數據，并不能對數據進行處理，這會產生一部分延時；在處理階段，新的調度單元開始處理數據，但是需要先處理在預熱階段積壓的數據，再處理實時獲取的數據，這同樣會產生一部分延時，上述預熱階段和運行階段的總的延時對應的時長較長，很可能會上升到分鐘級別，不滿足為任務遷移設定的延時要求(通常從獲取數據到處理數據的延時控制的99百分位控制在10s內)。

發明內容

本申請實施例提供了一種任務遷移的方法、調度器、電子設備、計算機可讀存儲介質及計算機程序產品，可以解決現有方案進行任務遷移時產生的延時較長的問題。所述技術方案如下：

根據本申請實施例的第一方面，提供了一種任務遷移的方法，應用于調度器，所述調度器用于將目標任務由第二調度單元遷移至第一調度單元；該方法包括：

當確定第一調度單元對目標任務進行預熱完畢時，向第二調度單元發送任務中斷指令以及第一請求；任務中斷指令用于指示第二調度單元中斷執行目標任務，第一請求用于獲取第一保存點；第一保存點表征截止到任務中斷時刻第二調度單元處理完成的最后一個數據；

響應于接收到第二調度單元發送的第一保存點，向第一調度單元發送任務啟動指令，任務啟動指令用于指示第一調度單元采集并處理目標數據，目標數據為目標任務中的處理順序在第一保存點之后的數據。

在一個可能的實現方式中，當確定第一調度單元對目標任務進行預熱完畢，之前還包括：

發送第二請求至第二調度單元，第二請求用于獲取第二保存點；第二保存點表征截止到第一時刻第二調度單元處理完成的最后一個數據，第一時刻為接收到第二請求的時刻；

響應于接收到第二調度單元發送的第二保存點，向第一調度單元發送第一預熱指令；第一預熱指令用于指示第一調度單元開始對目標任務進行預熱，在預熱過程中采集處理順序在第二保存點之后的數據，并在預熱完畢后發送預熱完畢消息；預熱完畢消息用于指示第一調度單元進行預熱完畢。

在一個可能的實現方式中，響應于接收到第一調度單元發送的預熱完成消息，之前還包括：

若檢測到第一調度單元在預熱過程中發生故障，則向第一調度單元發送預熱取消指令，預熱取消指令用于取消第一調度單元進行任務預熱。