[發明專利]訓練人工神經網絡模型的計算裝置和方法以及存儲器系統

在審

• 申請號: 202010380930.X
• 申請日: 2020-05-08
• 公開（公告）號: CN111914991A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 金炳秀;高祥修;金冏榮;金哉坤;河相赫
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N3/063
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 史泉;張川緒

1.一種用于訓練人工神經網絡模型的計算裝置，所述計算裝置包括：

模型分析器，被配置為接收第一人工神經網絡模型并將第一人工神經網絡模型劃分成多個層；

訓練邏輯，被配置為：計算隨著第一人工神經網絡模型被修剪而變化的第一靈敏度數據，基于第一靈敏度數據計算與目標修剪率對應的目標靈敏度，計算隨著第一人工神經網絡模型的所述多個層中的每個被修剪而變化的第二靈敏度數據，并基于第二靈敏度數據輸出所述多個層中的每個的最佳修剪率，最佳修剪率對應于目標修剪率；以及

模型更新器，被配置為：基于最佳修剪率修剪第一人工神經網絡模型以獲得第二人工神經網絡模型，并輸出第二人工神經網絡模型。

2.根據權利要求1所述的計算裝置，

其中，所述多個層包括具有第一靈敏度的第一層和具有第二靈敏度的第二層，第二靈敏度低于第一靈敏度，

其中，最佳修剪率包括第一層的第一最佳修剪率和第二層的第二最佳修剪率，并且

其中，第二最佳修剪率高于第一最佳修剪率。

3.根據權利要求1所述的計算裝置，其中，訓練邏輯還被配置為：將多個修剪率值應用于第一人工神經網絡模型和所述多個層，獲得多個靈敏度值，并且對所述多個靈敏度值進行插值，以計算第一靈敏度數據和第二靈敏度數據。

4.根據權利要求1所述的計算裝置，其中，訓練邏輯還被配置為：獲得與第二靈敏度數據成反函數關系的修剪率數據，基于目標靈敏度從修剪率數據計算最佳修剪率，并輸出最佳修剪率。

5.根據權利要求1所述的計算裝置，其中，訓練邏輯還被配置為：根據最佳修剪率的輸出來調整所述多個層中的每個的權重。

6.根據權利要求5所述的計算裝置，其中，訓練邏輯還被配置為：基于包括在第一人工神經網絡模型中的全部權重對所述多個層中的每個的權重進行歸一化。

7.根據權利要求5所述的計算裝置，還包括：

存儲器，包括處理器，

其中，處理器被配置為調整權重以提供調整的權重，并將調整的權重存儲在存儲器中。

8.一種用于訓練人工神經網絡模型的計算裝置，所述計算裝置包括：

模型分析器，被配置為接收第一人工神經網絡模型并將第一人工神經網絡模型劃分成多個層；

訓練邏輯，被配置為：接收目標修剪率，計算第一人工神經網絡模型的目標靈敏度，并輸出所述多個層中的每個的最佳修剪率，目標靈敏度對應于目標修剪率，最佳修剪率對應于目標靈敏度；以及

模型更新器，被配置為：基于最佳修剪率修剪第一人工神經網絡模型以獲得第二人工神經網絡模型，并輸出第二人工神經網絡模型。

9.根據權利要求8所述的計算裝置，其中，訓練邏輯包括：

靈敏度分析器，分析第一人工神經網絡模型以輸出根據修剪率而變化的第一靈敏度數據，并且分析所述多個層中的每個以輸出根據修剪率而變化的第二靈敏度數據。

10.根據權利要求9所述的計算裝置，

其中，訓練邏輯還被配置為基于目標修剪率、第一靈敏度數據和第二靈敏度數據輸出最佳修剪率，并且最佳修剪率被分配給所述多個層中的每個。

11.根據權利要求9所述的計算裝置，其中，靈敏度分析器還被配置為：將多個修剪率應用于第一人工神經網絡模型和所述多個層中的每個，獲得多個靈敏度值，并且對所述多個靈敏度值進行插值，以計算第一靈敏度數據和第二靈敏度數據。

12.根據權利要求9所述的計算裝置，其中，訓練邏輯還包括：

修剪控制器，

其中，修剪控制器包括：

目標靈敏度計算器，被配置為基于第一靈敏度數據和目標修剪率輸出目標靈敏度；以及

最佳修剪率計算器，被配置為基于第二靈敏度數據和目標靈敏度來輸出最佳修剪率。