[發明專利]基于流計算的數據處理方法、裝置及電子設備

在審

• 申請號: 202110087785.0
• 申請日: 2021-01-22
• 公開（公告）號: CN112765115A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 張勇濤;張劍鳴
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/2455;G06F16/2457;G06F16/23
• 代理公司: 北京金信知識產權代理有限公司 11225
• 代理人: 侯憲志;韓岳松

1.一種基于流計算的數據處理方法，包括：

響應于流計算中至少一個第一算子出現運行錯誤，確定所述第一算子的輸入數據中未計算完成的第一數據，生成能夠標識所述第一數據的第一標識；

獲取預先保存的所述流計算的日志文件，基于所述日志文件初始化所述第一算子的數據；

構建所述第一算子與相鄰上游算子，以及所述第一算子與相鄰下游算子之間的數據連接；

向所述相鄰上游算子發送所述第一標識，使所述相鄰上游算子至少向所述第一算子重新發送所述第一數據，以使所述第一算子基于所述第一數據進行計算并更新數據。

2.根據權利要求1所述的方法，其中，所述確定所述第一算子的輸入數據中未計算完成的第一數據，生成用于標識所述第一數據的第一標識，包括：

確定所述第一算子的第一映射關系，其中，所述第一映射關系包括所述第一算子分別與所述相鄰上游算子和所述相鄰下游算子的第一關聯關系，和/或所述第一算子的輸入數據和輸出數據的第二關聯關系；

確定所述第一算子在第一時段的輸入數據和輸出數據；其中，所述第一時段包括保存所述日志文件至所述第一算子出現運行錯誤之間的時段；

基于所述第一映射關系和所述第一算子在所述第一時段的輸出數據，確定所述第一算子在所述第一時段的輸入數據中未計算完成的所述第一數據，以及已計算完成的第二數據；

生成用于標識所述第一數據的所述第一標識，或生成通過標識所述第二數據以對所述第一數據進行標識的所述第一標識。

3.根據權利要求2所述的方法，其中，所述確定所述第一算子在第一時段的輸入數據和輸出數據，包括：

獲取第二標識，其中，所述第二標識用于標識所述相鄰上游算子在所述第一時段輸出的第三數據；

基于所述第二標識確定所述第一算子在第一時段的輸入數據；

獲取第三標識，其中，所述第三標識用于標識所述相鄰下游算子在所述第一時段輸入的第四數據；

基于所述第三標識確定所述第一算子在第一時段的輸出數據。

4.根據權利要求3所述的方法，其中，所述向所述相鄰上游算子發送所述第一標識，使所述相鄰上游算子至少向所述第一算子重新發送所述第一數據，以使所述第一算子基于所述第一數據進行計算并更新數據，包括：

向所述相鄰上游算子發送所述第一標識，使所述相鄰上游算子基于所述第一標識對所述第三數據中包含的所述第一數據和/或所述第二數據進行標識；

控制所述相鄰上游算子向所述第一算子發送標識后的所述第三數據；

控制所述第一算子對所述第二數據進行計算，禁止向所述相鄰下游算子輸出數據；

控制所述第一算子對所述第一數據進行計算，向所述相鄰下游算子輸出數據。

5.根據權利要求3所述的方法，其中，所述向所述相鄰上游算子發送所述第一標識，使所述相鄰上游算子至少向所述第一算子重新發送所述第一數據，以使所述第一算子基于所述第一數據進行計算并更新數據，包括：

向所述相鄰上游算子發送所述第一標識，使所述相鄰上游算子基于所述第一標識從所述第三數據中提取所述第一數據；

控制所述相鄰上游算子向所述第一算子重新發送所述第一數據；

控制所述第一算子對所述第一數據進行計算，并向所述相鄰下游算子輸出數據。

6.根據權利要求2所述的方法，其中，所述確定所述第一算子的第一映射關系，包括：

基于所述流計算的邏輯執行圖和/或物理執行圖確定所述第一算子的第一映射關系。

7.根據權利要求1所述的方法，其中，所述方法還包括：

響應于流計算中至少一個第一算子出現運行錯誤；

切斷所述第一算子與所述相鄰上游算子的數據連接，以及所述第一算子與所述相鄰下游算子的數據連接；和/或

清空所述相鄰上游算子的數據發送隊列和所述相鄰下游算子的數據接收隊列；和/或

將所述相鄰上游算子和所述相鄰下游算子從第一模式切換至第二模式；響應于所述第一算子計算完成所述第一數據，將所述相鄰上游算子、所述第一算子和所述相鄰下游算子從所述第二模式切換至所述第一模式。