[發明專利]處理單元、計算裝置及深度學習模型的計算圖優化方法

在審

• 申請號: 202010435236.3
• 申請日: 2020-05-21
• 公開（公告）號: CN113705798A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 馬洪朋;何軍;姚忠偉;毛鈞;尹莉
• 申請（專利權）人: 平頭哥（上海）半導體技術有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 劉靜

1.一種處理單元，包括：

取指令單元，用于從所述處理單元外部的存儲器取回計算機指令；

指令譯碼單元，用于對取回的計算機指令進行譯碼；

指令執行單元，用于執行譯碼后的所述計算機指令，以實現：

確定多條從待優化計算圖的輸入算子延伸到輸出算子且包含至少一個轉置算子的路徑，其中，所述多條路徑的每一條路徑都與其他路徑具有至少一個不同的轉置算子；

確定每條路徑中的每個轉置算子的合并方向；以及

根據各條路徑中的各個轉置算子的合并方向確定一條或多條路徑中的可抵消的轉置算子，并清除所述一條或多條路徑中的可抵消的轉置算子，以得到優化后的計算圖。

2.根據權利要求1的處理單元，其中，所述指令執行單元還實現：

獲取初始計算圖；

判斷所述初始計算圖的數據格式與所述特定加速單元所選用的數據格式是否相同，如果所述初始計算圖的數據格式與所述特定加速單元所選用的數據格式相同，將所述初始計算圖作為所述待優化計算圖；如果所述初始計算圖的數據格式與所述特定加速單元所選用的數據格式不同，在所述初始計算圖的輸入算子之前依次插入第一轉置算子和第二轉置算子，在所述初始計算圖的輸出算子之后依次插入第三轉置算子和第四轉置算子，并將插入轉置算子之后的初始計算圖作為所述待優化計算圖，其中，所述第一轉置算子和所述第三轉置算子用于將所述待優化計算圖的數據格式轉換為所述特定加速單元所選用的數據格式，所述第二轉置算子和所述第四轉置算子用于將所述特定加速單元所選用的數據格式轉換為所述待優化計算圖的數據格式。

3.根據權利要求1或2所述的處理單元，其中，所述確定每條路徑中的每個轉置算子的合并方向包括：

對于所述路徑集合中的每條路徑中的每個轉置算子，先判斷所述轉置算子的輸出張量的數據格式是否與所述特定加速單元所選用的數據格式相同，如果相同，則所述轉置算子的合并方向為向上，如果不同，則繼續判斷所述轉置算子的輸入張量的數據格式是否與所述特定加速單元所選用的數據格式相同，如果相同，則所述轉置算子的合并方向為向下；

則所述根據各條路徑中的各個轉置算子的合并方向確定一條或多條路徑中的可抵消的轉置算子，并清除所述一條或多條路徑中的可抵消的轉置算子包括：

依次遍歷每一條路徑，對于每一條路徑上合并方向分別為向下和向上的相鄰的第一個轉置算子和第二個轉置算子，判斷所述第一個轉置算子和所述第二個轉置算子是否僅存在于完全相同的路徑中，如果是，則確定所述第一個轉置算子和所述第二個轉置算子為可抵消的轉置算子，并清除所述第一個轉置算子和所述第二個轉置算子；

如果否，如果確定所述第一個轉置算子獨自存在于至少一條路徑中，且如果確定在包含所述第一個轉置算子的所有路徑中與所述第一個轉置算子相鄰的后一個轉置算子的合并方向均為向上，則確定所述第一個轉置算子和與所述第一個轉置算子相鄰的后一個轉置算子為可抵消的轉置算子，并在包含所述第一個轉置算子的所有路徑中清除所述第一個轉置算子以及與所述第一個轉置算子相鄰的后一個轉置算子；如果確定所述第二個轉置算子獨自存在于一條路徑中，并且確定在包含所述第二個轉置算子的所有路徑中與所述第二個轉置算子相鄰的前一個轉置算子的合并方向均為向下，則確定所述第二個轉置算子和與所述第二個轉置算子相鄰的前一個轉置算子為可抵消的轉置算子，并在所有包含第二個轉置算子的路徑中清除所述第二個轉置算子以及與所述第二個轉置算子相鄰的前一個轉置算子。

4.根據權利要求1至3任一項所述的處理單元，其中，所述待優化計算圖的數據格式與所述特定加速單元所選用的數據格式為以下之一的數據格式：NHWC和NCHW。

5.根據權利要求1至3任一項所述的處理單元，其中，所述指令執行單元還實現：將特定深度學習模型的完整計算圖進行切圖，得到多個子圖，并將其中的一個子圖作為所述待優化計算圖。

6.根據權利要求1至3任一項所述的處理單元，其中，所述指令執行單元還實現：將特定深度學習模型的完整計算圖轉換為符合所述特定加速單元所遵循的中間表達，對所述中間表達進行算子合并、量化、模型剪枝至少一種處理，將處理后的中間表達進行切圖，得到多個子圖，并將其中的一個子圖作為所述待優化計算圖。