[發明專利]一種離線量化工具的精度調優方法

在審

• 申請號: 202110477401.6
• 申請日: 2021-04-29
• 公開（公告）號: CN113408695A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 張兵;黃明飛;王海濤
• 申請（專利權）人: 開放智能機器（上海）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 上海申新律師事務所 31272
• 代理人: 黨蕾

1.一種離線量化工具的精度調優方法，其特征在于，應用于一深度學習模型，所述深度學習模型包括多個卷積層；

所述精度調優方法包括：

步驟S1，根據所述深度學習模型的網絡結構判斷所述深度學習模型是否適合預先配置的一第一權重調優方案：

若否，則轉向步驟S2；

若是，則根據所述第一權重調優方案對各所述卷積層的權重和偏置進行權重調優，并根據權重調優結果對所述深度學習模型的所述權重和所述偏置進行重新賦值得到一第一調優模型，隨后轉向步驟S2；

步驟S2，采用預先配置的一第二權重調優方案并根據預先獲取的一第一訓練數據對所述第一調優模型的各所述卷積層的所述權重進行調優得到所述權重的量化因子集；

步驟S3，將預先獲取的一第二訓練數據輸入所述第一調優模型，并在進行推理之前，根據所述量化因子集計算得到各所述卷積層對應的一權重最大值和一權重最小值，以根據所述權重最大值和所述權重最小值對各所述卷積層的所述權重進行截斷，并根據截斷得到的所述權重對所述第一調優模型中的所述權重進行重新賦值得到一第二調優模型；

步驟S4，將預先獲取的一第三訓練數據輸入所述第二調優模型，并采用預先配置的一離線量化工具對所述第二調優模型進行模型量化得到量化模型。

2.根據權利要求1所述的精度調優方法，其特征在于，執行所述步驟S4之后，還包括將所述量化模型部署至一端側設備進行精度測試，并在精度測試結果小于一預設精度時，調整所述第一權重調優方案的使用次數，或調整所述第一訓練數據，或調整所述第三訓練數據進行精度優化，直至所述精度測試結果不小于所述預設精度。

3.根據權利要求1所述的精度調優方法，其特征在于，所述步驟S1中，在所述深度學習模型中存在至少兩個所述卷積層相連接的所述網絡結構時，則表示所述深度學習模型適合所述第一權重調優方案。

4.根據權利要求3所述的精度調優方法，其特征在于，采用所述第一權重調優方案對各所述卷積層的權重和偏置進行權重調優時，若所述深度學習模型的所述網絡結構中存在卷積分支，則對所述卷積分支內外相連接的所述卷積層的所述權重和所述偏置進行重新賦值，得到所述第一調優模型；

若所述深度學習模型的所述網絡結構中不存在所述卷積分支，則對連接的所述卷積層的所述權重和所述偏置進行重新賦值，得到所述第一調優模型。

5.根據權利要求1所述的精度調優方法，其特征在于，所述步驟S2包括：

步驟S21，根據所述第二權重調優方案將所述第一訓練數據輸入所述第一調優模型中的各所述卷積層；

步驟S22，各所述卷積層根據所述第一訓練數據處理得到一第一處理數據；

步驟S23，根據各所述第一處理數據對所述第一調優模型的各所述卷積層的所述權重進行調優得到所述權重的量化因子，并根據多個所述量化因子形成所述量化因子集。

6.根據權利要求5所述的精度調優方法，其特征在于，所述步驟S3包括：

步驟S31，根據所述量化因子集中所述量化因子的最大值處理得到各所述卷積層中對應的所述權重最大值，以及根據所述量化因子的的最小值處理得到各所述卷積層中對應的所述權重最小值；

步驟S32，根據所述權重最大值和所述權重最小值對各所述卷積層的所述權重進行截斷，得到截斷后的所述權重；

步驟S33，根據截斷得到的所述權重對所述第一調優模型中的所述權重進行重新賦值，得到所述第二調優模型。

7.根據權利要求6所述的精度調優方法，其特征在于，采用下述公式實現對各所述卷積層中的所述權重進行截斷：

其中，f(x)用于表示截斷后的所述權重；

W用于表示每個所述卷積層中的所述權重；

Min用于表示所述權重最小值；

Max用于表示所述權重最大值。