[發明專利]分布式異構計算方法及系統

在審

• 申請號: 201810163809.4
• 申請日: 2018-02-27
• 公開（公告）號: CN108319503A
• 公開（公告）日: 2018-07-24
• 發明（設計）人: 田浩來;鄒佳恒;陳少佳;王修庫
• 申請（專利權）人: 東莞中子科學中心
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京鼎承知識產權代理有限公司 11551
• 代理人: 孟奎;李偉波

提供了一種分布式異構計算方法和系統，其中該方法包括：獲取多個異構硬件設備的配置信息和每個異構硬件設備能夠提供的數據處理服務；根據用戶提交的計算作業的需求以及多個異構硬件設備中的可用異構硬件設備的配置信息和可用異構硬件設備的可用數據處理服務，生成任務執行序列，其中任務執行序列包括一系列任務，每個任務指示與該任務相對應的可用異構硬件設備和可用數據處理服務；以及多個可用異構硬件設備的可用數據處理服務根據任務執行序列依次執行計算作業，其中任務執行序列中前一任務指示的可用異構硬件設備的輸出數據為任務執行序列中后一任務指示的可用異構硬件設備的輸入數據。

技術領域

本公開涉及分布式異構計算技術領域，具體涉及一種分布式異構計算方法及系統。

背景技術

現階段異構硬件平臺種類繁多，但大多數數據處理作業都基于單臺主機的異構計算平臺，或同種類型的異構計算平臺構成的分布式計算環境，如安裝有圖形處理器(GPU)加速卡的工作站，或者GPU集群。然而，每種異構計算平臺都有其特長，在復雜計算中，可能會利用到多種異構平臺的混合使用，如GPU、現場可編程門陣列(FPGA)、數字信號處理器(DSP)和集成眾核(MIC)。當分布式環境中各臺主機的異構硬件配置各不相同，對于用戶來說，配置執行管理一個作業就會十分不方便。

發明內容

在第一方面中，本公開提供了一種分布式異構計算方法，包括：

獲取多個異構硬件設備的配置信息和每個異構硬件設備能夠提供的數據處理服務；

根據用戶提交的計算作業的需求以及多個異構硬件設備中的可用異構硬件設備的配置信息和可用異構硬件設備的可用數據處理服務，生成任務執行序列，其中任務執行序列包括一系列任務，每個任務指示與該任務相對應的可用異構硬件設備和可用數據處理服務；以及

多個可用異構硬件設備的可用數據處理服務根據任務執行序列依次執行計算作業，其中任務執行序列中前一任務指示的可用異構硬件設備的輸出數據為任務執行序列中后一任務指示的可用異構硬件設備的輸入數據。

在本公開的一些實施方式中，每個任務還指示數據輸入源和數據輸出地，其中，前一任務的數據輸出地與后一任務的數據輸入源相同、前一任務的數據輸出地與后一任務的數據輸入源之一相同、或前一任務的數據輸出地之一與后一任務的數據輸入源相同。

在本公開的一些實施方式中，可用構硬件設備的可用數據處理服務根據任務執行序列依次執行計算作業還包括：對于每個可用異構硬件設備，

對輸入數據進行編碼，以使得經過編碼的輸入數據適用于可用異構硬件設備；

可用異構硬件設備通過任務執行序列中的任務指示的可用數據處理服務對進過編碼的輸入數據進行處理；以及

對經過處理的輸入數據進行解碼，以得到輸出數據。

在本公開的一些實施方式中，可用異構硬件設備通過總線或網絡進行通信。

在本公開的一些實施方式中，該分布式異構計算方法還包括：

數據處理服務在執行計算作業的過程中上報執行狀態，以及

在執行狀態為失敗時，重新生成任務執行序列；以及在執行狀態改變時，重新配置任務執行序列。

在本公開的一些實施方式中，異構硬件設備包括以下中至少之一：中央處理器、圖形處理器、現場可編程門陣列、數字信號處理器、集成眾核以及專用集成電路。

在第二方面中，本公開還提供了一種分布式異構計算系統，包括：

多個異構硬件設備，用于處理數據；

全局狀態存儲模塊，用于存儲多個異構硬件設備的配置信息、每個異構硬件設備能夠提供的數據處理服務以及數據處理服務的執行狀態；