[發明專利]數據的并行處理

有效

• 申請號: 201510772809.0
• 申請日: 2011-05-04
• 公開（公告）號: CN105279022B
• 公開（公告）日: 2019-10-01
• 發明（設計）人: C·D·查姆伯斯;A·拉尼瓦拉;F·J·皮里;R·R·亨利;J·蒂加尼;S·R·阿達姆斯;R·布拉德肖;N·韋曾鮑姆
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;安翔

本申請的各實施例涉及數據的并行處理。在包括一個或者多個處理模塊并且提供本機處理環境的數據中心接收非置信應用。非置信應用包括數據并行流水線。安全處理環境用來執行非置信應用。數據并行流水線可以指定多個并行數據對象和并行操作。基于數據并行流水線，可以生成延緩的并行數據對象和延緩的并行操作的數據流圖形，并且可以將一個或者多個圖形變換應用于數據流圖形以生成修正的數據流圖形，修正的數據流圖形包括延緩的并行數據對象和延緩的組合并行數據操作中的一個或者多個延緩的并行數據對象和延緩的組合并行數據操作。可以執行延緩的組合并行操作以產生與延緩的并行數據對象對應的具體化的并行數據對象。

分案申請說明

本申請是國際申請日為2011年5月4日、于2012年12月28日進入中國國家階段的、申請號為201180032739.5、名稱為“數據的并行處理”的中國發明專利申請的分案申請。

技術領域

本公開內容涉及數據的并行處理。

背景技術

大規模數據處理可以包括并行處理，并行處理總體上涉及到對大數據集的每個元素執行某一操作。各種操作可以在數據并行流水線中鏈接在一起以創建用于處理數據集的高效機制。

發明內容

在一個方面中，在包括一個或者多個處理模塊并且提供本機處理環境的數據中心接收非置信應用。非置信應用包括數據并行流水線。數據并行流水線指定包含多個元素的多個并行數據對象和與對元素操作的非置信函數相關聯的多個并行操作。在本機處理環境中并且在處理模塊中的一個或者多個處理模塊上實例化第一安全處理環境。在第一安全處理環境中執行非置信應用。執行應用生成與數據并行流水線對應的延緩的并行數據對象和延緩的并行操作的數據流圖形。在第一安全處理環境以外傳達代表數據流圖形的信息。在第一安全處理環境以外并且在本機處理環境中，將一個或者多個圖形變換應用于代表數據流圖形的信息以生成修正的數據流圖形，修正的數據流圖形包括與非置信函數中的一個或者多個非置信函數相關聯的、延緩的并行數據對象和延緩的組合并行數據操作中的一個或者多個延緩的并行數據對象和延緩的組合并行數據操作。執行延緩的組合并行操作以產生與延緩的并行數據對象對應的具體化的并行數據對象。執行延緩的組合并行操作包括：在本機處理環境中并且在處理模塊中的一個或者多個處理模塊上實例化一個或者多個第二安全處理環境；并且在一個或者多個第二安全處理環境中執行與延緩的組合并行操作相關聯的非置信函數。

實現方式可以包括以下特征中的一個或者多個特征。例如，第一安全處理環境可以包括第一虛擬機，并且一個或者多個第二安全處理環境可以包括第二虛擬機。第一虛擬機和一個或者多個第二虛擬機可以是硬件虛擬機。在一個或者多個第二安全處理環境中執行與延緩的組合并行操作相關聯的非置信函數可以包括：從第二安全處理環境以外向第二安全處理環境中傳達輸入批處理記錄，輸入批處理記錄包括多個個別輸入記錄；對輸入批處理中的個別記錄中的每個記錄執行與延緩的組合并行操作相關聯的非置信函數中的至少一個非置信函數以生成輸出記錄；將輸出記錄匯集成輸出批處理；并且在第二安全處理環境以外傳達輸出批處理。

可以將非置信應用的輸出發送到向數據中心發送非置信應用的客戶端系統。在第一安全處理環境以外傳達代表數據流圖形的信息可以包括向在第一安全處理環境以外的執行圖形服務傳達代表數據流圖形的信息。

延緩的組合并行數據操作可以包括至少一個廣義映射精簡操作。廣義映射精簡操作可以包括多個并行映射操作和多個并行精簡操作并且可轉譯成單個映射精簡操作，單個映射精簡操作包括用于實施多個并行映射操作的單個映射函數和用于實施多個并行精簡操作的單個精簡函數。單個映射函數和單個精簡函數可以包括非置信函數中的一個或者多個非置信函數。

執行延緩的組合并行操作可以包括將組合映射精簡操作轉譯成單個映射精簡操作。在一個或者多個第二安全處理環境中執行與延緩的組合并行操作相關聯的非置信函數可以包括在一個或者多個第二安全處理環境中執行單個映射函數和單個精簡函數。