[發明專利]分布式的任務處理方法、裝置、設備、存儲介質和系統

有效

• 申請號: 202011341653.8
• 申請日: 2020-11-25
• 公開（公告）號: CN112416591B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 劉柏芳
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種分布式的任務處理方法，由節點執行，其特征在于，包括：

根據本機節點在目標節點集中的節點角色，從目標任務中獲取匹配的子任務進行處理，目標任務中各子任務由目標節點集中的各節點共同處理；

在檢測到目標節點集發生變更時，暫停當前處理進程；

重新確定本機節點在變更后目標節點集中的新的節點角色，并根據所述新的節點角色，從目標任務中獲取匹配的子任務繼續進行處理。

2.根據權利要求1所述的方法，其特征在于，在根據本機節點在目標節點集中的節點角色，從目標任務中獲取匹配的子任務進行處理之前，還包括：

在確定滿足選舉條件時，通過擴縮控制器與目標節點集中的其他節點共同進行選舉，確定本機節點在目標節點集中的節點角色；

重新確定本機節點在變更后目標節點集中的新的節點角色，包括：

通過所述擴縮控制器與變更后目標節點集中的其他節點重新進行選舉，確定本機節點在變更后目標節點集中的新的節點角色。

3.根據權利要求2所述的方法，其特征在于，在確定本機節點在目標節點集中的節點角色之前，還包括：

根據節點控制器的節點啟動指令，獲取目標任務的任務標識，其中，目標任務的目標節點集中各節點共享同一任務標識；

根據任務標識向擴縮控制器進行節點注冊，以指示擴縮控制器生成與目標任務對應的目標節點集。

4.根據權利要求2所述的方法，其特征在于，在根據本機節點在目標節點集中的節點角色，從目標任務中獲取匹配的子任務進行處理之后，還包括：

根據節點控制器的節點關閉指令，向擴縮控制器進行節點取消注冊，以指示所述擴縮控制器更新與目標任務對應的目標節點集。

5.根據權利要求2所述的方法，其特征在于，在根據本機節點在目標節點集中的節點角色，從目標任務中獲取匹配的子任務進行處理之后，還包括：

與所述目標節點集中的其他節點進行實時通信；

如果在通信過程中識別出至少一個故障節點，則將所述故障節點的信息上報至擴縮控制器，以指示所述擴縮控制器更新與目標任務對應的目標節點集。

6.根據權利要求1-5任一項所述的方法，其特征在于，根據本機節點在目標節點集中的節點角色，從目標任務中獲取匹配的子任務進行處理，包括：

根據本機節點的節點角色，確定本機節點在所述目標任務中的首個子任務獲取位置，其中，節點角色用于標識各節點的任務獲取順序；

根據由目標節點集中包括的節點總數量確定的子任務獲取間隔，以及所述首個子任務獲取位置，在所述目標任務中確定子任務處理編號；

按照子任務處理編號，依次從所述目標任務中獲取匹配的子任務進行處理。

7.根據權利要求2所述的方法，其特征在于，檢測到目標節點集發生變更，包括：

在確定滿足目標節點集檢測條件時，向所述擴縮控制器發送查詢請求，并接收所述擴縮控制器反饋的實時目標節點集；

將所述實時目標節點集與本地保存的歷史目標節點集進行比對；

根據比對結果，檢測目標節點集是否發生變更，并將所述歷史目標節點集更新為所述實時目標節點集。

8.一種分布式的任務處理方法，由節點控制器執行，其特征在于，包括：

獲取目標任務，所述目標任務包括多項子任務；

根據目標任務以及當前可用計算資源，創建與所述目標任務匹配的目標節點集，并向所述目標節點集中各節點分配同一任務標識；

根據動態更新的可用計算資源，實時動態調整與所述目標任務對應的目標節點集。