[發明專利]處理單元、計算裝置及深度學習模型的計算圖優化方法

在審

• 申請號: 202010435236.3
• 申請日: 2020-05-21
• 公開（公告）號: CN113705798A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 馬洪朋;何軍;姚忠偉;毛鈞;尹莉
• 申請（專利權）人: 平頭哥（上海）半導體技術有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 劉靜

本發明公開了一種處理單元、計算裝置及深度學習模型的計算圖優化方法。該一種深度學習模型的計算圖優化方法包括：確定多條從待優化計算圖的輸入算子延伸到輸出算子且包含至少一個轉置算子的路徑，其中，多條路徑的每一條路徑都與其他路徑具有至少一個不同的轉置算子；確定每條路徑中的每個轉置算子的合并方向；以及根據各條路徑中的各個轉置算子的合并方向確定一條或多條路徑中的可抵消的轉置算子，并清除一條或多條路徑中的可抵消的轉置算子，以得到優化后的計算圖。優化后的計算圖清除了計算圖內非必要的轉置算子，從而減少了資源開銷。

技術領域

本公開涉及芯片領域，具體而言，涉及一種處理單元、計算裝置及深度學習模型的計算圖優化方法。

背景技術

近年來，隨著人工智能的不斷興起，深度學習模型成為當前廣泛應用的一種預測模型。深度學習模型已經愈來愈多地在應用于諸如語音識別和人臉識別等多種場景。云技術是指在廣域網或局域網內將硬件、軟件、網絡等系列資源統一起來，實現數據的計算、儲存、處理和共享的一種托管技術。利用云技術，客戶可將要使用的深度學習模型的計算圖提供給云服務提供商，由云服務提供商進行模型處理后部署到數據中心的服務器上運行，而客戶的應用系統能夠使用數據中心的深度學習模型的計算圖得到預測結果，由于數據中心使用專用于深度學習模型的加速單元來運行深度學習模型的計算圖，因此將深度學習模型部署到數據中心有助于提高深度學習模型的推理性能。

在對客戶要使用的深度學習模型的計算圖進行優化的過程中，發明人發現部分計算圖存在非必要的轉置(trans)算子。轉置算子用于轉換張量的數據格式(也稱維度轉換)。轉置算子由加速單元或處理器執行。在加速單元能夠執行轉置算子的情況下，由加速單元執行轉置算子，在加速單元不能執行轉置算子的情況下，轉置算子由處理器執行。前者占用加速單元的資源和時間，后者需要在處理器和加速單元之間進行切換，因此帶來更大的延遲。因此，非必要的轉置算子帶來不必要的資源開銷。為了減少不必要的資源開銷，應該確保將在加速單元上運行的深度學習模型的計算圖中沒有非必要的轉置算子。

發明內容

基于此，本公開的目的是提供一種處理單元、計算裝置及深度學習模型的計算圖優化方法，以清除計算圖中非必要的轉置算子。

第一方面，本公開實施例提供一種處理單元，包括：

取指令單元，用于從所述處理單元外部的存儲器取回計算機指令；

指令譯碼單元，用于對取回的計算機指令進行譯碼；

指令執行單元，用于執行譯碼后的所述計算機指令，以實現：

確定多條從待優化計算圖的輸入算子延伸到輸出算子且包含至少一個轉置算子的路徑，其中，所述多條路徑的每一條路徑都與其他路徑具有至少一個不同的轉置算子；

確定每條路徑中的每個轉置算子的合并方向；以及

根據各條路徑中的各個轉置算子的合并方向確定一條或多條路徑中的可抵消的轉置算子，并清除所述一條或多條路徑中的可抵消的轉置算子，以得到優化后的計算圖。

可選地，所述指令執行單元還實現：

獲取初始計算圖；

判斷所述初始計算圖的數據格式與所述特定加速單元所選用的數據格式是否相同，如果所述初始計算圖的數據格式與所述特定加速單元所選用的數據格式相同，將所述初始計算圖作為所述待優化計算圖；如果所述初始計算圖的數據格式與所述特定加速單元所選用的數據格式不同，在所述初始計算圖的輸入算子之前依次插入第一轉置算子和第二轉置算子，在所述初始計算圖的輸出算子之后依次插入第三轉置算子和第四轉置算子，并將插入轉置算子之后的初始計算圖作為所述待優化計算圖，其中，所述第一轉置算子和所述第三轉置算子用于將所述待優化計算圖的數據格式轉換為所述特定加速單元所選用的數據格式，所述第二轉置算子和所述第四轉置算子用于將所述特定加速單元所選用的數據格式轉換為所述待優化計算圖的數據格式。