[發明專利]數據驅動的深度神經網絡量化方法、系統、介質和設備

在審

• 申請號: 202110482327.7
• 申請日: 2021-04-30
• 公開（公告）號: CN113159298A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 王浩然;梁俊文
• 申請（專利權）人: 恒睿（重慶）人工智能技術研究院有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 宋寶庫;郭婷

1.一種數據驅動的深度神經網絡量化方法，其特征在于，所述方法包括下列步驟：

S1，準備校準數據集，其中，所述校準數據集是用于對所述深度神經網絡進行推理的數據集的至少一部分；

S2，選擇所述深度神經網絡的需要量化的層；

S3，針對所選擇的層，以校準數據的誤差函數最小為目標，以scale和zero_point值為變量，使用最優化算法逐層進行迭代，從而獲得最佳的scale和zero_point值；

S4，基于所述最佳的scale和zero_point值對所述深度神經網絡進行量化。

2.根據權利要求1所述的數據驅動的深度神經網絡量化方法，其特征在于，在步驟S3之前，所述方法還包括：選擇需要量化的參數；

步驟S3具體包括：針對所選擇的層以及需要量化的參數，以校準數據的誤差函數為最優化目標，以scale和zero_point值為變量，使用最優化算法逐層進行迭代，從而獲得所述需要量化的參數的最佳截斷值并因此獲得最佳的scale和zero_point值。

3.根據權利要求2所述的數據驅動的深度神經網絡量化方法，其特征在于，在步驟S3之前、選擇需要量化的參數之后，所述方法還包括：針對所述需要量化的參數選擇搜索域；

“使用最優化算法逐層進行迭代”的步驟具體包括：逐層在所選擇的搜索域內使用最優化算法進行迭代。

4.根據權利要求3所述的數據驅動的深度神經網絡量化方法，其特征在于，所述搜索域的范圍通過下列方式中的至少一種確定：

人工設置；

采用min-max截斷法確定最大值，并以0作為最小值。

5.根據權利要求2至4中任一項所述的數據驅動的深度神經網絡量化方法，所述需要量化的參數是feature map和weight中的至少一種。

6.根據權利要求1至4中任一項所述的數據驅動的深度神經網絡量化方法，其特征在于，所述誤差函數根據所述深度神經網絡的類型進行選擇。

7.一種數據驅動的深度神經網絡量化系統，其特征在于，所述系統包括：

校準數據模塊，其用于提供校準數據集，所述校準數據集是用于對所述深度神經網絡進行推理的數據集的至少一部分；

量化層選擇模塊，其用于選擇所述深度神經網絡的需要量化的層；

最優化模塊，其用于針對所述量化層選擇模塊所選擇的層，以校準數據的誤差函數最小為目標，以scale和zero_point值為變量，使用最優化算法逐層進行迭代，從而獲得最佳的scale和zero_point值；

量化模塊，其基于所述最優化模塊確定的最佳的scale和zero_point值對所述深度神經網絡進行量化。

8.根據權利要求7所述的數據驅動的深度神經網絡量化系統，其特征在于，所述系統還包括：量化參數選擇模塊，其用于選擇需要量化的參數；

所述最優化模塊針對所選擇的層以及需要量化的參數使用最優化算法逐層進行迭代。

9.根據權利要求8所述的數據驅動的深度神經網絡量化系統，其特征在于，所述系統還包括：搜索域選擇模塊，其用于針對所述需要量化的參數選擇搜索域；

所述最優化模塊針對所選擇的層逐層在所述搜索域模塊所選擇的搜索域內使用最優化算法進行迭代。

10.根據權利要求8或9所述的數據驅動的深度神經網絡量化系統，其特征在于，所述需要量化的參數是feature map和weight中的至少一種。

11.一種計算機可讀存儲介質，其特征在于，所述存儲介質中存儲有多條程序代碼，所述程序代碼適用于由處理器加載并運行以執行權利要求1至6中任一項所述的數據驅動的深度神經網絡量化方法。

12.一種計算機設備，該計算機設備包括處理器和存儲裝置，所述存儲裝置中存儲有多條程序代碼，其特征在于，所述程序代碼適于由所述處理器加載并運行以執行權利要求1至6中任一項所述的數據驅動的深度神經網絡量化方法。