[發明專利]用于發送大數據集的高級重試機制

有效

• 申請號: 201780068476.0
• 申請日: 2017-11-03
• 公開（公告）號: CN109937405B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: M·帕德馬納班;M·雷;A·科卡普爾
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;林程程

1.一種用于從源數據存儲庫發送數據的方法，包括：

接收多個數據塊，其中所述多個數據塊以第一格式和固定大小被接收；

對所述多個數據塊中的每個數據塊執行至少一個修改操作，所述至少一個修改操作包括將所述第一格式轉換為與目的地數據存儲庫兼容的第二格式；

執行將經修改的所述數據塊傳輸到所述目的地數據存儲庫的第一嘗試；

確定經修改的所述數據塊中的至少一個數據塊未能傳輸到所述目的地數據存儲庫；

將至少一個失敗的數據塊存儲在失敗的塊重試數據存儲庫中；

對所述至少一個失敗的數據塊執行所述至少一個修改操作；以及

執行將所述至少一個失敗的數據塊傳輸到所述目的地數據存儲庫的第二嘗試。

2.根據權利要求1所述的方法，還包括：確定用于所述目的地數據存儲庫的所述第二格式的模式。

3.根據權利要求2所述的方法，其中所述至少一個修改操作包括修改所述多個數據塊中的每個數據塊的格式以符合用于所述目的地數據存儲庫的所述第二格式。

4.根據權利要求1所述的方法，其中確定經修改的所述數據塊中的至少一個數據塊未能傳輸到所述目的地數據存儲庫包括：接收被包含在經修改的所述數據塊中的單個記錄未能傳輸的指示。

5.根據權利要求1所述的方法，其中確定經修改的所述數據塊中的至少一個數據塊未能傳輸到所述目的地數據存儲庫包括接收經修改的所述數據塊中的至少一個數據塊受以下中的至少一項影響的指示：網絡天氣、所述目的地數據存儲庫處于故障狀態、以及所述目的地數據存儲庫處于更新狀態。

6.根據權利要求1所述的方法，還包括：

響應于確定經修改的所述數據塊中的至少一個數據塊未能傳輸到所述目的地數據存儲庫，對所述至少一個失敗的數據塊加密以用于存儲在所述失敗的塊重試數據存儲庫中。

7.根據權利要求1所述的方法，還包括：

響應于對所述至少一個失敗的數據塊執行所述至少一個修改操作，對所述至少一個失敗的數據塊加密以用于傳輸到所述目的地數據存儲庫。

8.根據權利要求1所述的方法，還包括：

基于到所述目的地數據存儲庫的傳輸嘗試的數目，確定所述至少一個失敗的數據塊是否已經超過回退重試嘗試閾值；以及

響應于確定所述至少一個失敗的數據塊已經超過所述回退重試嘗試閾值，將所述至少一個失敗的數據塊傳輸到永久失敗容器。

9.根據權利要求8所述的方法，其中傳輸所述至少一個失敗的數據塊的每一個后續嘗試基于線性時間標尺而被線性縮放。

10.根據權利要求8所述的方法，其中傳輸所述至少一個失敗的數據塊的每一個后續嘗試在時間上被指數縮放。

11.根據權利要求8所述的方法，其中多個映射引擎被指派用于向所述目的地數據存儲庫傳輸所述多個數據塊，所述多個映射引擎中的每個映射引擎被指派用于所述多個數據塊中的單獨數據塊的傳輸。

12.根據權利要求11所述的方法，還包括：

響應于確定經修改的所述數據塊中的至少一個數據塊未能傳輸到所述目的地數據存儲庫，將元數據與所述至少一個失敗的數據塊相關聯，所述元數據指示所述多個映射引擎中的哪一映射引擎被指派給所述至少一個失敗的數據塊。

13.根據權利要求1所述的方法，其中所述失敗的塊重試數據存儲庫是所述源數據存儲庫。

14.根據權利要求1所述的方法，其中所述第一格式對應于結構化格式，并且所述第二格式對應于非結構化格式或半結構化格式中的至少一項。