[發明專利]用于發送大數據集的高級重試機制

有效

• 申請號: 201780068476.0
• 申請日: 2017-11-03
• 公開（公告）號: CN109937405B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: M·帕德馬納班;M·雷;A·科卡普爾
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華;林程程

在本公開的非限制性示例中，提出了用于向目的地數據存儲庫發送源數據存儲庫中所存儲的數據的系統、方法、和設備。多個數據塊可以以第一格式被接收。可以對每個數據塊執行至少一個插入或更新操作，用于將第一格式轉換為與目的地數據存儲模式兼容的格式?？梢詧绦薪洸迦牖蚋碌臄祿K到目的地數據存儲庫的傳輸?？梢宰龀鲋辽僖粋€經插入或更新的數據塊未能傳輸到目的地數據存儲庫的確定?？梢詫⑹〉臄祿K存儲在失敗的塊重試數據存儲庫中。可以對失敗的數據塊重復執行至少一個插入或更新操作，并且可以重新執行失敗的數據塊到目的地數據存儲庫的傳輸。

背景技術

由數據提供商(例如，電信資源提供商)進行的大數據收集，例如，呼叫記錄數據收集總體是通過存儲編譯記錄(例如，呼叫記錄)大數據集實現的。通常存儲各個記錄及其代表性數據集，而在不考慮它們的下游使用和對于數據提供商和數據的下游存取器對這樣的數據進行處理時有用的各種模式。為了將這樣的數據集轉換并存儲為有用信息，對原始存儲的數據執行各種數據重新格式化操作是有幫助的。重新格式化、傳輸、以及存儲數據集的過程經常產生錯誤，這些錯誤會導致記錄的不完全傳輸和/或完全數據傳輸失敗。

關于該總體技術環境，已經考慮了本文所公開的技術方面。另外，盡管已經討論了總體環境，但是應當理解的是，本文所描述的示例不應當限于背景技術中所標識的總體環境。

發明內容

提供本發明內容以通過簡化形式介紹一些概念，這些概念將在下面的具體實施方式部分被進一步描述。本發明內容不旨在標識請求保護的主題的關鍵特征或重要特征，也不旨在用作幫助確定請求保護的主題的范圍。示例的附加方面、特征、和/或優點將部分地在下面的描述中闡述，并且部分地從描述顯而易見，或通過實施本公開的實踐習得。

本公開的非限制性示例描述了用于從源數據存儲庫發送數據的系統、方法、和設備，包括：接收多個數據塊，該多個數據塊以第一格式被接收；對多個數據塊中的每個數據塊執行至少一個插入或更新(upsert)操作，該至少一個插入或更新操作包括將第一格式轉換為與目的地數據存儲庫兼容的模式；執行經插入或更新的數據塊到目的地數據存儲庫的傳輸；確定經插入或更新的數據塊中的至少一個數據塊未能傳輸到目的地數據存儲庫；將至少一個失敗的數據塊存儲在失敗的塊重試數據存儲庫中；對至少一個失敗的數據塊重新執行至少一個插入或更新操作；以及重新執行至少一個失敗的數據塊到目的地數據存儲庫的傳輸。

附圖說明

參考以下附圖描述非限制性和非窮盡性示例。

圖1是示出提供用于大數據集傳輸的高級重試機制的示例分布式計算環境的示意圖。

圖2是示出利用回退重試方案的示例性失敗的數據傳輸重試機制的示意圖。

圖3A和3B示出了用于實現從源數據存儲庫向目的地數據存儲庫的大數據集傳輸的高級重試機制的示例性方法300A和300B。

圖4示出了用于執行本公開的一個或多個方面的計算設備。

圖5是可以實踐本公開的方面的計算設備的簡化框圖。

圖6是示出可以實踐本公開的方面的計算設備100的物理組件(例如，硬件)的框圖。

圖7是示出提供用于大數據集傳輸的高級重試機制的示例分布式計算環境的示意圖。

具體實施方式

將參考附圖詳細描述各種實施例，其中貫穿若干視圖相似的參考標號表示相似的部件和裝配。對各種實施例的引用不限制所附權利要求的范圍。另外，說明書中所闡述的任意示例不旨在用于限制，而是僅僅闡述所附權利要求的很多可能實施例中的一些實施例。

以上描述的各種實施例和示例通過圖示提供，并且不應當被理解為限制所附權利要求。本領域技術人員將很容易認識到，在不遵循本文所示出和描述的示例實施例和應用并且不偏離權利要求的真正精神和范圍的條件下可以做出各種修改和改變。