[發(fā)明專利]模型訓練方法、裝置、存儲介質及電子設備

在審

• 申請?zhí)枺?/td>: 202110249601.6
• 申請日: 2021-03-08
• 公開（公告）號: CN115034396A
• 公開（公告）日: 2022-09-09
• 發(fā)明（設計）人: 段勤
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 李漢亮

1.一種模型訓練方法，其特征在于，所述模型訓練方法包括：

獲取需要進行訓練量化的浮點網絡模型，以及獲取候選的量化位寬范圍；

從所述量化位寬范圍中確定針對所述浮點網絡模型的輸入值的第一量化位寬；

從所述量化位寬范圍中確定針對所述浮點網絡模型的權重值的第二量化位寬；以及

根據(jù)所述第一量化位寬以及所述第二量化位寬對所述浮點網絡模型進行訓練量化，得到訓練后的定點網絡模型。

2.如權利要求1所述的模型訓練方法，其特征在于，所述從所述量化位寬范圍中確定針對所述浮點網絡模型的輸入值的第一量化位寬，包括：

根據(jù)所述量化位寬范圍，確定針對所述浮點網絡模型的第一候選量化策略集合，所述第一候選量化策略集合包括多個第一候選量化策略，所述第一候選量化策略包括針對所述浮點網絡模型中每一待量化層的輸入值的候選量化位寬；

獲取每一待量化層的輸入值的量化敏感度，并以量化敏感度較大的待量化層所對應的候選量化位寬較大為約束，刪除所述第一候選量化策略集合中不符合所述約束的第一候選量化策略，得到第二候選量化策略集合；

根據(jù)所述第二候選量化策略集合，確定針對每一待量化層輸入值的第一量化位寬。

3.如權利要求2所述的模型訓練方法，其特征在于，所述獲取每一待量化層的輸入值的量化敏感度，包括：

對每一待量化層的輸入值的黑塞矩陣跡值進行收斂計算，并將每一待量化層的輸入值的黑塞矩陣跡值設為每一待量化層的輸入值的量化敏感度。

4.如權利要求3所述模型訓練方法，其特征在于，所述對每一待量化層的輸入值的黑塞矩陣跡值進行收斂計算，包括：

構建每一待量化層的輸入值的黑塞矩陣的表達式，以及生成第一預設數(shù)量的符合拉德馬赫分布的隨機向量；

根據(jù)每一待量化層輸入值的黑塞矩陣的表達式以及第一預設數(shù)量的隨機向量，對每一待量化層的輸入值的黑塞矩陣跡值進行收斂計算。

5.如權利要求4所述的模型訓練方法，其特征在于，所述根據(jù)每一待量化層輸入值的黑塞矩陣的表達式以及第一預設數(shù)量的隨機向量，對每一待量化層的輸入值的黑塞矩陣跡值進行收斂計算包括：

根據(jù)每一待量化層輸入值的黑塞矩陣的表達式以及第一預設數(shù)量的隨機向量，按照如下公式對每一待量化層的輸入值的黑塞矩陣跡值進行收斂計算：

其中，表示第j層待量化層輸入值的黑塞矩陣的表達式，表示第j層待量化層的輸入值的黑塞矩陣跡值，N^A表示所述第一預設數(shù)量，表示第二預設數(shù)量的隨機向量中的第i個隨機向量，T表示轉置。

6.如權利要求5所述的模型訓練方法，其特征在于，所述對每一待量化層的輸入值的黑塞矩陣跡值進行收斂計算，包括：

在連續(xù)k次計算得到的各待量化層輸入值的黑塞矩陣跡值的大小順序相同時，判定各待量化層的黑塞矩陣跡值收斂，其中，k為大于或等于2的正整數(shù)。

7.如權利要求5所述的模型訓練方法，其特征在于，所述對每一待量化層的輸入值的黑塞矩陣跡值進行收斂計算，包括：

在當次計算得到的各待量化層的黑塞矩陣跡值的大小順序，與上次計算得到的各待量化層的黑塞矩陣跡值的大小順序的相似度達到第一預設相似度時，判定各待量化層的輸入值的黑塞矩陣跡值收斂。

8.如權利要求2所述的模型訓練方法，其特征在于，所述根據(jù)所述第二候選量化策略集合，確定針對每一待量化層輸入值的第一量化位寬，包括：

獲取第二候選量化策略集合中每一第一候選量化策略的壓縮比，并刪除所述第二候選量化策略集合中壓縮比大于預設壓縮比的第一候選量化策略，得到第三候選量化策略集合；

根據(jù)所述第三候選量化策略集合，確定針對每一待量化層輸入值的第一量化位寬。