[發明專利]一種混合精度神經網絡的可微分搜索方法和裝置

有效

• 申請號: 202011249481.1
• 申請日: 2020-11-10
• 公開（公告）號: CN112364981B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 常成;朱雪娟;余浩;毛偉;代柳瑤;李凱;王宇航
• 申請（專利權）人: 南方科技大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

1.一種混合精度神經網絡的可微分搜索方法，其特征在于，包括：

獲取初始化超網絡；所述超網絡包括多個子網絡，且每個子網絡攜帶有超參數；

基于可微分搜索方法對所述超參數進行更新，獲得第一超網絡；

對所述第一超網絡包括的子網絡進行采樣，獲得至少一個第二采樣子網絡；

建立所述至少一個第二采樣子網絡的卷積核配置參數和量化比特值的大小選取與硬件性能指標的對應關系表；

將所述至少一個第二采樣子網絡部署到目標硬件上，獲得硬件性能指標；或者，根據至少一個第二采樣子網絡的卷積核配置參數和量化比特值的大小選取從所述對應關系表中查找對應的硬件性能指標，獲得最優第二采樣子網絡；

將所述最優第二采樣子網絡中每一層網絡的卷積核配置參數的影響因子和量化比特值的影響因子增大，獲得第二超網絡；

判斷是否滿足更新終止條件，若滿足，則將所述第二超網絡確定為目標神經網絡；否則，返回執行基于可微分搜索方法對所述超參數進行更新，獲得第一超網絡的操作。

2.根據權利要求1所述的方法，其特征在于，所述超網絡為卷積神經網絡，所述子網絡包括至少一層網絡；所述超參數包括每一層網絡的卷積核配置參數的影響因子和量化比特值的影響因子，并且所述超參數是連續可微的。

3.根據權利要求2所述的方法，其特征在于，基于可微分搜索方法對所述超參數進行更新，獲得第一超網絡，包括：

對所述初始化超網絡包括的子網絡進行采樣，獲得至少一個第一采樣子網絡；

基于訓練集對所述第一采樣子網絡進行訓練；

將驗證集在訓練后的第一采樣子網絡前向傳播，得到目標損失函數值；

對所述目標損失函數值進行微分計算，獲得梯度值；

根據所述梯度值對所述超參數進行更新，獲得第一超網絡。

4.根據權利要求3所述的方法，其特征在于，基于訓練集對所述第一采樣子網絡進行訓練，包括：

基于訓練集對所述第一采樣子網絡進行訓練，以更新所述第一采樣子網絡的權重參數。

5.根據權利要求2所述的方法，其特征在于，在獲得第二超網絡之后，還包括：

確定所述第二超網絡所需硬件資源以及預設限定資源；

若所述所需硬件資源超過所述預設限定資源，則減小各子網絡的量化比特值，使得所述所需硬件資源小于或等于所述預設限定資源。

6.一種混合精度神經網絡的可微分搜索裝置，其特征在于，包括：

獲取模塊，用于獲取初始化超網絡；所述超網絡包括多個子網絡，且每個子網絡攜帶有超參數；

第一更新模塊，用于基于可微分搜索方法對所述超參數進行更新，獲得第一超網絡；

第二更新模塊，用于對所述第一超網絡進行硬件性能評估，根據評估結果更新所述第一超網絡的超參數，獲得第二超網絡；

判斷模塊，用于判斷是否滿足更新終止條件，若滿足，則將所述第二超網絡確定為目標神經網絡；否則，返回執行基于可微分搜索方法對所述超參數進行更新，獲得第一超網絡的操作；

其中，所述第二更新模塊，還用于對所述第一超網絡包括的子網絡進行采樣，獲得至少一個第二采樣子網絡；對所述至少一個第二采樣子網絡進行硬件評估，獲得最優第二采樣子網絡；將所述最優第二采樣子網絡中每一層網絡的卷積核配置參數的影響因子和量化比特值的影響因子增大，獲得第二超網絡；

硬件評估模塊，用于將所述至少一個第二采樣子網絡部署到目標硬件上，獲得硬件性能指標；或者，根據至少一個第二采樣子網絡的卷積核配置參數和量化比特值的大小確定硬件性能指標；

其中，在所述硬件評估模塊對硬件評估之前，所述第二更新模塊還用于建立所述至少一個第二采樣子網絡的卷積核配置參數和量化比特值的大小選取與硬件性能指標的對應關系表；根據至少一個第二采樣子網絡的每一層的卷積核配置參數和量化比特值的大小選取從所述對應關系表中查找對應的硬件性能指標。

7.根據權利要求6所述的裝置，其特征在于，所述超網絡為卷積神經網絡，所述子網絡包括至少一層網絡；所述超參數包括每一層網絡的卷積核配置參數的影響因子和量化比特值的影響因子，并且所述超參數是連續可微的。