[發明專利]深度學習模型的調優方法和計算裝置

在審

• 申請號: 202010067045.6
• 申請日: 2020-01-20
• 公開（公告）號: CN113139650A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 趙曉輝;李書森
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 劉靜

1.一種計算裝置，包括存儲器、調度單元和加速單元，其中，所述加速單元用于執行每個量化操作后的模型，所述存儲器存儲指令，所述調度單元讀取所述指令，以執行：

為深度學習模型創建多個配置組合，每個配置組合指定多個量化配置參數的一個取值組合；

基于每個配置組合，對所述深度學習模型進行量化操作，以得到多個量化操作后的模型；

將所述多個量化操作后的模型依次部署到所述加速單元，并從所述加速單元接收所述多個量化操作后的模型各自對應的精度數據；

基于所述多個量化操作后的模型各自的精度數據，獲得精度損失滿足設定條件的優選模型。

2.根據權利要求1所述的計算裝置，其中，所述調度單元將所述量化操作后的模型部署到所述神經網絡加速單元包括：

所述調度單元從所述存儲器上獲取所述量化操作后的模型對應的待執行指令，并發送所述加速單元。

3.根據權利要求1所述的計算裝置，其中，所述調度單元將所述量化操作后的模型部署到所述神經網絡加速單元包括：

所述調度單元將所述量化操作后的模型對應的待執行指令在所述存儲器上的存儲位置發送所述加速單元，所述加速單元從所述存儲位置獲取所述待執行指令。

4.根據權利要求2或3所述的計算裝置，還包括：所述加速單元從所述存儲器獲取所述量化操作后的模型所需的數據。

5.根據權利要求4所述的計算裝置，所述量化操作后的模型所需的數據包括:權重參數和/或輸入數據。

6.根據權利要求1所述的計算裝置，在所述將所述多個量化操作后的模型依次部署到所述加速單元的步驟之前，所述調度單元還執行：將所述多個量化操作后的模型對應的待執行指令轉換為所述加速單元能夠識別的待執行指令。

7.根據權利要求1所述的計算裝置，其中，所述將所述多個量化操作后的模型依次部署到所述加速單元包括：

對于每個量化操作后的模型，根據其精度數據判斷其精度下降是否超過下降門限；

如果其精度下降沒有超過下降門限，則停止將其余量化操作后的模型部署到所述加速單元，并將當前量化操作后的模型作為優選模型。

8.根據權利要求1所述的計算裝置，所述量化操作包括校準操作和量化操作。

9.根據權利要求1所述的計算裝置，其中，所述量化配置參數包括以下參數的一個或多個：校準時一次處理的圖片個數、校準時執行的迭代次數、量化操作的批數目、選擇的量化算法。

10.根據權利要求1至9任一項所述的計算裝置，其中，所述量化操作將所述深度學習模型的權重參數從高精度數據轉換為低精度數據。

11.根據權利要求10所述的計算裝置，其中，所述高精度數據為32位單精度浮點數，所述低精度數據為8位整型或16位整型數據。

12.根據權利要求1所述的計算裝置，其中，所述多個配置組合與所述加速單元的硬件特性相關。

13.一種深度學習模型的調優方法，包括：

為深度學習模型創建多個配置組合，每個配置組合指定多個量化配置參數的一個取值組合；

基于每個配置組合，對所述深度學習模型進行量化操作，以得到多個量化操作后的模型；

執行所述多個量化操作后的模型，并得到所述多個量化操作后的模型各自對應的精度數據；

基于所述多個量化操作后的模型各自的精度數據，獲得精度損失滿足設定條件的優選模型。

14.根據權利要求13所述的調優方法，其中，所述調優方法應用于耦接的存儲器、調度單元和加速單元，所述存儲器用于存儲深度學習模型和所述多個量化操作后的模型，所述調度單元將所述多個量化操作后的模型依次部署到所述加速單元執行并接收所精度數據。