[發明專利]在圖形處理單元上執行計算圖

在審

• 申請號: 202111658733.0
• 申請日: 2018-01-08
• 公開（公告）號: CN114429201A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 吳景岳;克里斯多佛·丹尼爾·利里
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/10;G06F16/901;G06F9/50;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;周亞榮

本申請涉及在圖形處理單元上執行計算圖。包括在計算機存儲介質上編碼的計算機程序的方法、系統和裝置，用于生成使得處理單元處理計算圖的數據實體。在一個方面，所述方法包括接收標識計算圖的數據的動作，所述計算圖包括表示運算的多個節點；獲得用于在處理單元上處理計算圖的編譯工件；以及從該編譯工件生成數據實體，其中所述數據實體在被調用時使得處理單元通過執行由所述多個節點表示的運算來處理計算圖。

分案說明

本申請屬于申請日為2018年1月8日的中國發明專利申請201810015495.3的分案申請。

技術領域

本說明書涉及處理表示神經網絡的計算圖。

背景技術

神經網絡是機器學習模型，其使用一個或多個模型層來為接收到的輸入生成輸出，例如一個或多個分類。一些神經網絡除了輸出層之外還包括一個或多個隱藏層。每個隱藏層的輸出被用作網絡中下一層——即網絡的下一個隱藏層或輸出層——的輸入。網絡的每一層根據該層的相應參數集的當前值從接收到的輸入生成輸出。

發明內容

本說明書大體描述了在一個或多個位置中的一個或多個計算機上實現為生成數據實體的計算機程序的系統。當數據實體被調用時，所述數據實體使得圖形處理單元(GPU)通過執行與計算圖相關聯的運算來處理所述計算圖。

通常，本說明書中描述的主題的一個創新方面可以體現在一種操作方法中，所述操作方法包括：接收標識計算圖的數據，所述計算圖包括表示運算的多個節點；獲得用于在處理單元上處理所述計算圖的編譯工件；以及從所述編譯工件生成數據實體，其中，所述數據實體在被調用時使得處理單元通過執行由所述多個節點表示的運算來處理計算圖。

前述和其他實施例均可以可選地包括單獨或組合的一個或多個以下特征。特別地，一個實施例包括所有以下特征的組合。編譯工件進一步包括：緩沖區數據，所述緩沖區數據表示多個緩沖區參數和所述多個緩沖區參數與所述運算之間的關聯的緩沖區數據，所述多個緩沖區參數中的每一個與所述運算中的相應運算相關聯。所述編譯工件進一步包括：指派給所述多個緩沖區參數的相應邏輯號，以及指定所述邏輯號與由所述多個節點表示的所述運算之間的關聯的數據。編譯工件進一步包括：表示(i)運算序列和(ii)所述運算之間的依賴性的數據結構。所述數據結構是有向無環圖(DAG)。所述方法進一步包括維護多個庫，所述多個庫中的每一個存儲一個或多個子例程。所述編譯工件進一步包括：庫數據，所述庫數據表示多個緩沖區參數和所述多個緩沖區參數與所述多個庫之間的關聯，所述多個緩沖區參數中的每一個與所述多個庫中的相應庫相關聯。所述編譯工件進一步包括：被配置為處理所述計算圖的機器代碼。所述運算是用于處理穿過神經網絡的一個或多個層的所述神經網絡的輸入以生成所述神經網絡的輸出的運算。所述運算是通過調整神經網絡的參數值來訓練所述神經網絡的運算。所述處理單元是GPU或中央處理單元(CPU)。

通常，本說明書中描述的主題的另一創新方面可以體現在一種操作方法中，所述操作方法包括：接收作為計算圖的用戶特定輸入的輸入緩沖區參數，所述計算圖包括表示運算的多個節點；接收數據實體，所述數據實體包括表示(i)包括所述輸入緩沖區參數的多個緩沖區參數和(ii)所述多個緩沖區參數與所述運算之間的關聯的緩沖區數據；以及利用所述輸入緩沖區參數調用所述數據實體以使得處理單元通過執行所述運算來根據所述輸入緩沖區參數處理所述計算圖。