[發明專利]一種數據處理方法及相關設備

在審

• 申請號: 202111171030.5
• 申請日: 2021-10-08
• 公開（公告）號: CN113900857A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 谷蘭芝
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F11/34
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李慧慧

本發明公開了一種數據處理方法及相關設備，可以確定與目標節點對目標作業的允許響應時長相匹配的富裕時長，基于富裕時長和目標節點在執行目標作業過程中的最大吞吐量，確定檢查點的輸出間隔時長，按照輸出間隔時長，控制目標節點在執行目標作業的過程中輸出檢查點。本發明可以有效避免作業恢復時間過長而不滿足允許響應時間的要求，并可以最小化檢查點寫出和進行故障恢復所需的資源消耗。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據處理方法及相關設備。

背景技術

隨著計算機技術的發展，數據處理技術不斷提高。

當前，節點在處理作業的過程中，可以通過輸出檢查點來提供容錯能力。具體的，當節點在處理作業的過程中出現故障時，可以恢復到檢查點對應的狀態，而無需再重新開始處理作業，可以有效提高作業處理效率。

但是，現有技術無法確定出有效的檢查點的輸出間隔時長。

發明內容

鑒于上述問題，本發明提供一種克服上述問題或者至少部分地解決上述問題的數據處理方法及相關設備，技術方案如下：

一種數據處理方法，所述方法包括：

確定與所述目標節點對目標作業的允許響應時長相匹配的富裕時長；

基于所述富裕時長和所述目標節點在執行所述目標作業過程中的最大吞吐量，確定檢查點的輸出間隔時長；

按照所述輸出間隔時長，控制所述目標節點在執行所述目標作業的過程中輸出檢查點。

可選的，所述確定與所述目標節點對目標作業的允許響應時長相匹配的富裕時長，包括：

確定所述目標節點對目標作業的允許響應時長；

在所述目標節點對所述目標作業的歷史執行時長數據中，將排列在預設百分位數的執行時長確定為目標執行時長；

基于所述允許響應時長和所述目標執行時長，確定所述富裕時長。

可選的，所述基于所述富裕時長和所述目標節點在執行所述目標作業過程中的最大吞吐量，確定檢查點的輸出間隔時長，包括：

將所述富裕時長與所述最大吞吐量的乘積，確定為所述輸出間隔時長。

可選的，所述基于所述允許響應時長和所述目標執行時長，確定所述富裕時長，包括：

將所述允許響應時長與所述目標執行時長的差值，確定為所述富裕時長。

一種數據處理裝置，所述裝置包括：第一確定單元、第二確定單元和控制單元；其中：

所述第一確定單元，用于確定與所述目標節點對目標作業的允許響應時長相匹配的富裕時長；

所述第二確定單元，用于基于所述富裕時長和所述目標節點在執行所述目標作業過程中的最大吞吐量，確定檢查點的輸出間隔時長；

所述控制單元，用于按照所述輸出間隔時長，控制所述目標節點在執行所述目標作業的過程中輸出檢查點。

可選的，所述第一確定單元包括：第三確定單元、第四確定單元和第五確定單元；

所述第三確定單元，用于確定所述目標節點對目標作業的允許響應時長；

所述第四確定單元，用于在所述目標節點對所述目標作業的歷史執行時長數據中，將排列在預設百分位數的執行時長確定為目標執行時長；

所述第五確定單元，用于基于所述允許響應時長和所述目標執行時長，確定所述富裕時長。

可選的，所述第二確定單元，用于將所述富裕時長與所述最大吞吐量的乘積，確定為所述輸出間隔時長。