[發明專利]在分布式計算系統中執行容錯數據處理的方法及容錯分布式計算系統

有效

• 申請號: 201680021887.X
• 申請日: 2016-04-15
• 公開（公告）號: CN107851101B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 約翰·塔利;布瑞恩·E·海利;高光榮
• 申請（專利權）人: 中興飛流信息科技有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F9/448;H04L67/10;H04L69/40
• 代理公司: 上海晨皓知識產權代理事務所(普通合伙) 31260
• 代理人: 成麗杰

一種數據處理任務可通過使用工作流程而在分布式計算系統中實施，所述工作流程分裂為流簇，所述流簇布置于數據源和數據宿之間的有向非循環圖中。此布置可包括在其它特征中的各種流程控制方案和/或容錯方案。容錯可使用鍵/值存儲KVS流簇來實施。

相關申請的交叉引用

本申請主張2015年4月17日申請的第14/689,197號美國專利申請的優先權，且所述專利申請以引用的方式并入本文中。

此外，以下進一步的美國專利申請的內容也以引用的方式并入本文中：2011年4月13日申請的第13/086,132號美國專利申請；2012年7月13日申請的第13/548,805號美國專利申請；2011年8月25日申請的第13/218,082號美國專利申請；2011年12月16日申請的第13/328,570號美國專利申請；以及2013年10月15日申請的第14/054,112號美國專利申請，其為主張2012年10月15日申請的第61/713,957號和2013年1月2日申請的第61/748,233號美國臨時專利申請的優先權的非臨時申請，所有所述美國專利申請的內容也以引用的方式并入本文中。

技術領域

本發明的各個方面可涉及高性能計算系統。

背景技術

需要分析的數據集的大小多年來已極大地增加，且計算系統和策略已經經設計以達到嘗試和趕上數據集大小的增加速度。然而，目前系統在性能方面一直落后于數據集大小增加的步調。

例如第2008/0086442號美國專利申請公開案和/或Dean等人的“MapReduce：針對大群集的簡化數據處理(MapReduce：Simplified Data Processing on Large Clusters)”(OSDI 2004)中所論述的MapReduce技術提供一種進行大數據集處理的方式。然而，此類現有技術可以變得較快且更有效。

此外，當以MapReduce編程模型實施時，特定應用/算法可具有工作流程內的同步點(屏障)，其中一個級直至另一級完全完成處理時才能開始。這還可能導致低效率。

發明內容

本發明的各個方面可涉及用以解決現有大數據分析技術的上文提及的局限性和/或大體提供高性能計算環境的技術。涉及稱為“流簇(flowlet)”(下文將更詳細地論述)的內容的使用的本文中所描述的技術可使用硬件、軟件、固件和/或其組合來實施。流簇的類型可包括鍵值存儲(KeyValueStore)流簇和/或其它類型的流簇。鍵值存儲(KVS)流簇可用于容錯技術中。

附圖說明

現將結合附圖描述本發明的各個方面，附圖中：

圖1展示工作流程的非限制性實例；

圖2展示流量控制序列的非限制性實例；

圖3展示流簇的多個示例以及流簇之間的交互的實例；

圖4展示使用根據本發明的各種技術實施的約簡操作的實例；

圖5A-5D展示工作聚合序列的實例；

圖6展示內存分配的各種實例；

圖7A-7F展示流程控制的進一步實例；

圖8展示節點內負載均衡的實例；

圖9A-9C展示節點內負載均衡的進一步實例；

圖10A-10H展示計算節點處的處理情境的實例；

圖11A和11B展示實施優先的任務的系統的實例；

圖12展示共享鍵/值存儲的實例；

圖13A和13B展示鍵/值數據存儲的實例；