[發明專利]計算圖的處理方法、裝置和系統

在審

• 申請號: 201911289404.6
• 申請日: 2019-12-13
• 公開（公告）號: CN112965710A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 龍國平;楊軍;林偉
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F8/34
• 分類號: G06F8/34;G06F8/41;G06N20/00
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 謝湘寧

本申請公開了一種計算圖的處理方法、裝置和系統。其中，該方法包括：獲取計算圖對應的融合動作集合，其中，融合動作集合包括至少一個融合動作，任意一個融合動作用于表示計算圖中允許被融合的指令構成的指令對；查找每個融合動作對應的融合空間，得到融合動作對應的融合方案，其中，融合空間包括允許與融合動作融合的其他融合動作；從融合方案中選擇待選擇的融合方案，并根據目標融合方案，確定融合計算圖。本申請解決了現有技術中的計算圖的指令融合基于經驗進行，導致融合后生成的代碼性能較低的技術問題。

技術領域

本申請涉及領域，具體而言，涉及一種計算圖的處理方法、裝置和系統。

背景技術

近年來，人工智能(Artificial Intelligence，簡稱AI)技術在搜索、廣告、電商、物流、零售、制造、教育、傳媒影視等眾多的業務場景得到了廣泛應用。從計算的視角，上層業務的需求可被表達為由基本張量操作構成的計算圖結構，然后通過系統軟件將計算圖映射到可在硬件高效執行的代碼。因此，從張量操作圖到特定硬件平臺的編譯質量決定了業務和硬件平臺二者的適配效能，是影響上層業務落地成本的重要系統因素。

目前，針對人工智能業務的計算表達問題，目前主要是基于高級語言的計算圖表示，然后通過專門的計算框架映射到底層硬件平臺，該設計理念使得計算圖不局限于人工智能業務。但為了兼顧用戶表達的靈活性和業務多樣性要求，圖節點粒度在很多場景中比較細碎，且具有復雜的相互依賴結構，從而使得指令融合能力以及代碼生成能力具有局限性。其中，對于指令融合能力，由于實際業務的計算圖的復雜性，理論上存在的張量操作融合空間很大，在大量可能的融合方案中，現有方案的指令融合完全基于經驗規則，在融合指令類型以及融合后的計算粒度方面存在不足。對于代碼生成能力，現有方案在處理指令間計算結果中轉時，無法充分利用現有GPU體系結構的特點。具體的，現有方案基于計算內聯，通過寄存器復用來進行計算結果的中轉，而對硬件存儲的利用存在不足。另外，現有方案在處理多輸出的計算圖時，無法應對復雜的張量操作組合的情況。現有技術通常基于從特定業務問題提取的經驗規則來解決上述問題，缺乏全面的系統化解決方案。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種計算圖的處理方法、裝置和系統，以至少解決現有技術中的計算圖的指令融合基于經驗進行，導致融合后生成的代碼性能較低的技術問題。

根據本申請實施例的一個方面，提供了一種計算圖的處理方法，包括：獲取計算圖對應的融合動作集合，其中，融合動作集合包括至少一個融合動作，任意一個融合動作用于表示計算圖中允許被融合的指令構成的指令對；查找每個融合動作對應的融合空間，得到融合動作對應的融合方案，其中，融合空間包括允許與融合動作融合的其他融合動作；從融合方案中選擇待選擇的融合方案，并根據待選擇的融合方案，確定融合計算圖。

根據本申請實施例的另一方面，還提供了一種計算圖的處理裝置，包括：獲取模塊，用于獲取計算圖對應的融合動作集合，其中，融合動作集合包括至少一個融合動作，任意一個融合動作用于表示計算圖中允許被融合的指令構成的指令對；查找模塊，用于查找每個融合動作對應的融合空間，得到融合動作對應的融合方案，其中，融合空間包括允許與融合動作融合的其他融合動作；處理模塊，用于從融合方案中選擇待選擇的融合方案，并根據待選擇的融合方案，確定融合計算圖。

根據本申請實施例的另一方面，還提供了一種存儲介質，該存儲介質包括存儲的程序，其中，在程序運行時控制存儲介質所在設備執行上述的計算圖的處理方法。

根據本申請實施例的另一方面，還提供了一種處理器，該處理器用于運行程序，其中，程序運行時執行上述的計算圖的處理方法。