[發明專利]保存程序執行狀態

有效

• 申請號: 200980149598.8
• 申請日: 2009-12-07
• 公開（公告）號: CN102246152A
• 公開（公告）日: 2011-11-16
• 發明（設計）人: 彼德·斯洛塔;伊恩·P·諾蘭德;里查德·J·科爾;里查德拉·卡那;劉易斯·菲里皮·卡博雷拉
• 申請（專利權）人: 亞馬遜技術有限公司
• 主分類號: G06F15/16
• 分類號: G06F15/16
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 王瑋

1.一種用于管理程序的分布式執行的計算機實現的方法，所述方法包括：

在提供對用于用戶的程序的分布式執行進行管理的分布式程序執行服務的一個或多個計算系統的控制下，所述分布式程序執行服務提供可配置來執行所述用于用戶的程序的大量計算節點，

在指示的程序的多個執行作業的執行在所述大量計算節點中的多個上被啟動之后，以第一用戶的名義來執行所述指示的程序的執行，并且以如下方式來使用指示的輸入數據：所述多個執行作業均具有要使用所述指示的輸入數據的至少一些來執行的一個或多個操作，自動跟蹤與在所述多個計算節點上的多個執行作業的執行的狀態有關的信息，所述跟蹤包括識別中間結果，所述中間結果從完成工作的多個執行作業的操作的子集而產生，并且被存儲在所述多個計算節點上；

在確定終止所述多個執行作業的至少一個執行作業在第一時刻的執行之后，所述至少一個執行作業具有至少一個操作處在完成了工作的操作的子集中，并且具有至少一個其它操作不在所述子集中且其工作沒有完成，通過使用跟蹤的信息來自動識別所述至少一個操作，并且啟動對所識別的從所述至少一個操作產生的中間結果進行的持久存儲；

在所述第一時刻之后的后來的第二時刻，在至少一個計算節點上啟動所述至少一個執行作業的恢復執行，以便完成沒有在所述工作完成的子集中的至少一個其它操作的工作，并且以便不重復在所述子集中的所述至少一個操作的已完成的工作，以至少部分地基于持久存儲的中間結果的方式來執行所述恢復執行；以及

在完成所述指示的程序的多個執行作業的執行之后，將來自該執行的最終結果提供給所述第一用戶。

2.如權利要求1所述的方法，其中所述確定終止所述至少一個執行作業在第一時刻的執行至少部分地基于確定將所述至少一個執行作業的執行從正在第一時刻執行所述至少一個執行作業的一個或多個計算節點移動到一個或多個其它計算節點，其中所述一個或多個其它計算節點是在第二時刻發生了所述至少一個執行作業的恢復執行的至少一個計算節點，并且其中所述第二時刻基本在所述第一時刻之后立即發生。

3.如權利要求1所述的方法，其中所述確定終止所述至少一個執行作業在第一時刻的執行至少部分地基于將所述指示的程序的執行進行臨時暫停的請求，并且其中所述至少一個執行作業包括正在所述第一時刻執行的多個執行作業的全部。

4.如權利要求1所述的方法，還包括：確定正對多個執行作業中的一個執行作業進行執行的多個計算節點中的一個節點在所述一個執行作業的執行期間發生了故障，并且在后來的時刻在不同的計算節點上自動重啟所述一個執行作業的執行，所述重啟執行包括重復所述一個執行作業的至少一個操作的工作，所述一個執行作業的工作之前在所述一個計算節點發生故障前已經完成。

5.如權利要求1所述的方法，其中在所述多個計算節點上的多個執行作業的執行由主導節點上執行的軟件來管理，其中對所述多個執行作業的執行狀態的自動跟蹤包括維持所述主導節點上的與多個執行作業的執行狀態有關的信息，并且其中所述確定終止所述至少一個執行作業在第一時刻的執行至少部分地基于所述主導節點的故障。

6.如權利要求5所述的方法，其中執行被終止的所述至少一個執行作業包括正在所述第一時刻執行的多個執行作業的全部，其中啟動所述至少一個執行作業的恢復執行包括啟動新的第二主導節點的執行和在所述第二主導節點上復原被維持的、來自該主導節點的、與所述多個執行作業的執行狀態有關的信息，并且其中所述至少一個執行作業在所述至少一個計算節點上的恢復執行由所述第二主導節點來管理。

7.如權利要求1所述的方法，其中啟動所述識別的中間結果的持久存儲包括將所述識別的中間結果存儲在遠離所述多個計算節點的位置。

8.如權利要求1所述的方法，其中，使用在所述多個計算節點上實現的分布式文件系統來對在所述多個計算節點上存儲的所述識別的中間結果進行存儲，并且其中啟動所述識別的中間結果的持久存儲包括創建一個或多個邏輯存儲體以代表所述分布式文件系統的至少一部分，并將所述識別的中間結果持久存儲在遠離所述多個計算節點的一個或多個存儲節點上。