[發明專利]用于動態加載基于圖的計算的系統和方法

有效

• 申請號: 201611082453.9
• 申請日: 2011-06-15
• 公開（公告）號: CN107066241B
• 公開（公告）日: 2021-03-09
• 發明（設計）人: M·D·奧特博里;H·M·布羅姆利;W·梅薩德;A·波波夫;S·施米特;C·W·斯坦菲爾;J·S·沃雷三世
• 申請（專利權）人: 起元技術有限責任公司
• 主分類號: G06F9/448
• 分類號: G06F9/448;G06F9/445
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本發明涉及用于動態加載基于圖的計算的系統和方法。處理數據包括：接收作業單元，每個作業單元包括一個或多個作業元素，以及響應于接收第一作業單元使用加載到數據處理系統(100)中的第一編譯后的數據流圖(160)處理第一作業單元。處理包括：分析以便確定第一作業單元的特征；從存儲在包括至少一些被編譯的編譯后的數據流圖的數據存儲系統(107)中識別一個或多個編譯后的數據流圖用于處理具有確定的特征的作業單元；將識別的編譯后的數據流圖中的一個作為第一編譯后的數據流圖(160)加載到數據處理系統(100)；以及從第一作業單元中的至少一個作業元素生成一個或多個輸出作業元素。

(本申請是申請日為2011年6月15日、申請號為201180039226.7、發明名稱為“動態加載基于圖的計算”的申請的分案申請)

相關申請的交叉引用

本申請要求來自通過引用合并于此的、提交于2010年6月15日的美國申請序列第61/355,129號的優先權。

技術領域

本發明涉及動態加載基于圖的計算。

背景技術

采用與圖的頂點相關聯的計算的組件和在對應于圖的鏈接(弧、邊)的組件之間的數據流，復雜的計算經常被表示為通過有向圖的數據流(被稱為“數據流圖”)。組件可以包括：數據處理組件，其在一個或多個輸入端口接收數據，處理數據和從一個或多個輸出端口提供數據；和數據集組件，其用作數據流的源或接收器(sink)。在美國專利5,966,072，EXECUTING COMPUTATIONS EXPRESSED AS GRAPHS(執行表示為圖的計算)中描述了實施這樣基于圖的計算的系統。

發明內容

在總的方面，一種用于在使用存儲在數據存儲系統中的編譯后的數據流圖的數據處理系統中處理數據的方法，該方法包括：接收多個作業單元，每個作業單元包括一個或多個作業元素；以及響應于接收第一作業單元使用加載到數據處理系統中的第一編譯后的數據流圖處理第一作業單元。第一編譯后的數據流圖被編譯為代表第一數據流圖的數據結構，該第一數據流圖包括通過代表在數據處理組件之間的作業元素的流的鏈接連接的代表數據處理組件的節點。處理包括分析第一作業單元以便確定第一作業單元的特征；在接收第一作業單元之前，從存儲在包括至少一些被編譯的編譯后的數據流圖的數據存儲系統中的多個編譯后的數據流圖識別一個或多個編譯后的數據流圖，用于處理具有第一作業單元的確定的特征的作業單元；將識別的一個或多個編譯后的數據流圖中的一個加載到數據處理系統作為第一編譯后的數據流圖；以及使用第一數據流圖從第一作業單元中的至少一個作業元素生成一個或多個輸出作業元素。

在另一方面，一種用于在使用存儲在數據存儲系統中的編譯后的數據流圖的數據處理系統中處理數據的方法，該方法包括：接收多個作業單元，每個作業單元包括一個或多個作業元素；以及使用響應于接收第一作業單元加載到所述數據處理系統中的第一編譯后的數據流圖處理第一作業單元，該第一編譯后的數據流圖已被編譯為代表第一數據流圖的一個或多個數據結構，該第一數據流圖包括通過代表數據處理組件之間的作業元素的流的鏈接所連接的代表數據處理組件的節點，該處理包括：(a)分析第一作業單元以便確定第一作業單元的特征，(b)從存儲在所述數據存儲系統中的包括接收到第一作業單元之前被編譯的至少一些編譯后的數據流圖的多個編譯后的數據流圖識別一個或多個編譯后的數據流圖，用于處理具有第一作業單元的所確定的特征的作業單元，(c)將識別的一個或多個編譯后的數據流圖中的一個加載到數據處理程序中，其中在接收到第一作業單元之前，所述數據處理程序正在所述數據處理系統中運行，以及(d)使用第一數據流圖從第一作業單元中的至少一個作業元素生成一個或多個輸出作業元素。