[發明專利]在圖形處理單元上執行計算圖

在審

• 申請號: 202111658733.0
• 申請日: 2018-01-08
• 公開（公告）號: CN114429201A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 吳景岳;克里斯多佛·丹尼爾·利里
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/10;G06F16/901;G06F9/50;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;周亞榮

1.一種用于編譯一個或多個處理單元的機器代碼的方法，所述方法包括：

接收計算圖和輸入緩沖區參數，其中所述計算圖包括表示相應運算的多個節點；

生成編譯工件，所述編譯工件包括：(i)用于執行所述計算圖中的節點表示的相應運算的數據以及(ii)所述輸入緩沖區參數；

從所述編譯工件生成數據實體，所述數據實體在被所述一個或多個處理單元調用時使得所述一個或多個處理單元通過執行所述運算來根據所述輸入緩沖區參數處理所述計算圖；以及

從所述編譯工件生成所述機器代碼。

2.如權利要求1所述的方法，其中，所述一個或多個處理單元包括圖形處理單元(GPU)。

3.如權利要求1所述的方法，其中，從所述編譯工件生成所述機器代碼包括：

生成在被所述一個或多個處理單元執行時使得所述一個或多個處理單元調用所述數據實體以根據所述輸入緩沖區參數處理所述計算圖的指令。

4.如權利要求1所述的方法，其中，從所述編譯工件生成所述機器代碼包括：

生成在被所述一個或多個處理單元執行時使得所述一個或多個處理單元在用于所述一個或多個處理單元的相應存儲器設備中并且以特定順序對由所述計算圖的節點表示的運算排隊的指令；以及

生成在由所述一個或多個處理單元執行時使得所述一個或多個處理單元根據所述特定順序執行所述運算的指令。

5.如權利要求4所述的方法，其中，生成在被所述一個或多個處理單元執行時使得所述一個或多個處理單元在用于所述一個或多個處理單元的相應存儲器設備中并且以特定順序對由所述計算圖的節點表示的運算排隊的指令包括：

生成在由所述一個或多個處理單元執行時使得所述一個或多個處理單元在所述一個或多個處理單元中的每個處理單元處對所述運算的相應子集排隊的指令；以及

生成在由所述一個或多個處理單元執行時使得所述一個或多個處理單元在每個處理單元處執行用于該處理單元的所述運算的相應子集。

6.如權利要求1所述的方法，其中，所述一個或多個處理單元中的每個處理單元包括相應緩沖區，并且所述方法進一步包括：

由所述一個或多個處理單元基于緩沖區數據將所述運算中的第一運算指派給所述一個或多個處理單元中的特定處理單元的緩沖區以執行。

7.如權利要求1所述的方法，其中，所述輸入緩沖區參數包括：

多個緩沖區參數，所述多個緩沖區參數包括所述輸入緩沖區參數以及所述多個緩沖區參數和所述運算之間的關聯，所述多個緩沖區參數中的每一個與所述運算中的相應運算相關聯。

8.如權利要求1所述的方法，其中，所述編譯工件包括：

數據結構，所述數據結構表示(i)運算序列和(ii)所述運算之間的依賴性。

9.如權利要求1所述的方法，其中，所述編譯工件包括：

庫數據，所述庫數據表示多個緩沖區參數以及所述多個緩沖區參數和多個庫之間的關聯，所述多個庫包括一個或多個子例程，所述多個緩沖區參數中的每一個與所述多個庫中的相應庫相關聯。

10.如權利要求1所述的方法，其中，所述運算是用于處理穿過神經網絡的一個或多個層的所述神經網絡的輸入以生成所述神經網絡的輸出的運算。