[發明專利]一種浮點模型的量化方法、裝置及存儲介質

在審

• 申請號: 202010945870.1
• 申請日: 2020-09-08
• 公開（公告）號: CN112070214A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 李濱
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 白瑩

1.一種浮點模型的量化方法，其特征在于，包括：

使用深度學習框架對第一浮點模型進行量化訓練，獲得包括第一量化參數集合的第二浮點模型；所述第一浮點模型包含的處理層的個數與所述第二浮點模型包含的處理層的個數相同；

從所述第二浮點模型中提取第一量化參數集合；并且，使用樣本數據運行所述第二浮點模型，統計運行過程中所述第二浮點模型中的第二量化參數集合，所述第一量化參數集合和所述第二量化參數集合均包括各處理層對應的層級量化參數組；

對所述第二浮點模型的每個處理層進行量化處理，對于每個處理層，在所述第一量化參數集合包括所述處理層對應的層級量化參數組時，使用所述第一量化參數集合中所述處理層對應的層級量化參數組進行量化處理，在所述第一量化參數集合不包括所述處理層對應的層級量化參數組時，使用所述第二量化參數集合中所述處理層對應的層級量化參數組對所述處理層進行量化處理。

2.如權利要求1所述的方法，其特征在于，

所述方法還包括選擇所述樣本數據；

所述選擇樣本數據，包括：確定所述第一浮點模型的至少一應用場景，選擇覆蓋所述至少一應用場景的多種類別的樣本數據。

3.如權利要求1所述的方法，其特征在于，

所述使用所述第二量化參數集合中所述處理層對應的層級量化參數組進行量化處理，包括：

根據所述第二量化參數集合確定多個第三量化參數集合，每個第三量化參數集合中的每個層級量化參數組對應的參數取值范圍小于所述第二量化參數集合中相應處理層的層級量化參數組對應的參數取值范圍，使用所述多個第三量化參數分別測試所述第二浮點模型的準確率，選擇最高的準確率所對應的第三量化參數集合；

使用選擇出的第三量化參數集合中所述處理層對應的層級量化參數組，對所述處理層進行量化處理。

4.如權利要求1所述的加速神經網絡推理處理的方法，其特征在于，

所述第二量化參數集合包括各處理層對應的層級量化參數組，

或者，包括各處理層對應的層級量化參數組，以及根據量化最大值和量化最小值確定出的縮放系數；

或者，包括各處理層對應的層級量化參數組，以及根據量化最大值和量化最小值確定出的零點值；

或者，包括各處理層對應的層級量化參數組，以及根據量化最大值和量化最小值確定出的縮放系數和零點值；

其中，所述層級量化參數組包括量化最大值和量化最小值。

5.如權利要求3或4所述的方法，其特征在于，

所述根據所述第二量化參數集合確定多個第三量化參數集合，包括：

確定一個設定比例，和多個步長倍數值；每個步長倍數值對應于一個第三量化參數集合；

根據所述第二量化參數集合、所述設定比例和所述多個步長倍數值確定多個第三量化參數集合。

6.如權利要求5所述的方法，其特征在于，

所述根據所述第二量化參數集合、所述設定比例和所述多個步長倍數值確定多個第三量化參數集合，包括：根據所述第二量化參數集合、所述設定比例和所述多個步長倍數值中的一個步長倍數值確定一個第三量化參數集合；

所述根據所述第二量化參數集合、所述設定比例和所述多個步長倍數值中的一個步長倍數值確定一個第三量化參數集合包括：

針對每個處理層進行以下處理：

確定基礎步長，所述基礎步長是第二量化參數集合中所述處理層的層級量化參數組中量化最大值與量化最小值的差值與設定比例的乘積；

確定所述基礎步長與所述步長倍數值的乘積為調整步長；

確定第三量化參數集合中所述處理層的層級量化參數組中量化最大值是所述第二量化參數集合中相應處理層的層級量化參數組中量化最大值與所述調整步長的差，

確定第三量化參數集合中所述處理層的層級量化參數組中最小值是所述第二量化參數集合中相應處理層的層級量化參數組中量化最小值與所述調整步長的和。