[發(fā)明專利]一種神經(jīng)網(wǎng)絡的優(yōu)化方法及相關(guān)設備

在審

• 申請?zhí)枺?/td>: 202010650726.5
• 申請日: 2020-07-06
• 公開（公告）號: CN111950700A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設計）人: 辛經(jīng)緯;王楠楠;姜馨蕊;宋德華;韓凱;王云鶴
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06K9/62;G06T3/40
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務所(普通合伙) 44285
• 代理人: 李杭

1.一種神經(jīng)網(wǎng)絡的優(yōu)化方法，其特征在于，所述神經(jīng)網(wǎng)絡包括第一神經(jīng)網(wǎng)絡模塊，所述第一神經(jīng)網(wǎng)絡模塊包括n個卷積層，所述方法包括：

獲取第一量化模型，所述第一量化模型用于根據(jù)所述第一神經(jīng)網(wǎng)絡模塊的第1層至第m層的m個第一權(quán)重矩陣，得到所述第一神經(jīng)網(wǎng)絡模塊的第m層的第二權(quán)重矩陣，其中，每層的第一權(quán)重矩陣均為用32位浮點數(shù)表示的權(quán)重矩陣，每層的第二權(quán)重矩陣均為賦值+1或-1的權(quán)重矩陣，1≤m≤n；

根據(jù)所述第一量化模型，將所述第一神經(jīng)網(wǎng)絡模塊各層對應的每個第一權(quán)重矩陣進行二值化操作，得到所述第一神經(jīng)網(wǎng)絡模塊各層對應的每個第二權(quán)重矩陣；

通過訓練集中的訓練數(shù)據(jù)對所述神經(jīng)網(wǎng)絡進行訓練，得到訓練后的神經(jīng)網(wǎng)絡；

將所述訓練后的神經(jīng)網(wǎng)絡部署在目標設備上。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第一量化模型，將所述第一神經(jīng)網(wǎng)絡模塊各層對應的每個第一權(quán)重矩陣進行二值化操作，得到所述第一神經(jīng)網(wǎng)絡模塊各層對應的每個第二權(quán)重矩陣包括：

通過得到所述第m層的第二權(quán)重矩陣，其中，W₁，W₂，...，W_m為第1層的第一權(quán)重矩陣至第m層的第一權(quán)重矩陣，α₁，α₂，...，α_m為與W₁，W₂，...，W_m對應的第一線性組合參數(shù)，WN(·)為對α₁W₁+α₂W₂+…+α_mW_m進行的歸一化操作，Sign(·)為對WN(α₁W₁+α₂W₂+…+α_mW_m)進行二值化操作的符號函數(shù)，為所述第m層的第二權(quán)重矩陣，為所述第一量化模型。

3.根據(jù)權(quán)利要求1-2中任一項所述的方法，其特征在于，在通過訓練集中的訓練數(shù)據(jù)對所述神經(jīng)網(wǎng)絡進行訓練，得到訓練后的神經(jīng)網(wǎng)絡之前，所述方法還包括：

確定所述第m層的第二權(quán)重矩陣的權(quán)值增益；

根據(jù)所述第m層的第二權(quán)重矩陣的權(quán)重增益對所述第m層的第二權(quán)重矩陣進行調(diào)整，使得調(diào)整后的第m層的第二權(quán)重矩陣與第m層的第一權(quán)重矩陣之間的差值小于所述第m層的第二權(quán)重矩陣與所述第m層的第一權(quán)重矩陣之間的差值。

4.根據(jù)權(quán)利要求2-3中任一項所述的方法，其特征在于，在通過訓練集中的訓練數(shù)據(jù)對所述神經(jīng)網(wǎng)絡進行訓練，得到訓練后的神經(jīng)網(wǎng)絡之前，所述方法還包括：

設置所述第一線性組合參數(shù)為所述神經(jīng)網(wǎng)絡的網(wǎng)絡參數(shù)，以使得在根據(jù)訓練集中的訓練數(shù)據(jù)對所述神經(jīng)網(wǎng)絡進行訓練的過程中，對所述第一線性組合參數(shù)進行訓練。

5.根據(jù)權(quán)利要求2-3中任一項所述的方法，其特征在于，在通過訓練集中的訓練數(shù)據(jù)對所述神經(jīng)網(wǎng)絡進行訓練，得到訓練后的神經(jīng)網(wǎng)絡之前，所述方法還包括：

確定所述第m層的第一權(quán)重矩陣與所述第m層的第二權(quán)重矩陣的模值為所述第一線性組合參數(shù)中的α_m；

對所述模值進行線性回歸得到所述α_m的最終取值。

6.根據(jù)權(quán)利要求1-5中任一項所述的方法，其特征在于，在根據(jù)所述第一量化模型，將所述第一神經(jīng)網(wǎng)絡模塊各層對應的每個第一權(quán)重矩陣進行二值化操作，得到所述第一神經(jīng)網(wǎng)絡模塊各層對應的每個第二權(quán)重矩陣之后，所述方法還包括：

按照所述n個卷積層連接的先后順序依次計算所述第一神經(jīng)網(wǎng)絡模塊每層的第一特征表示；

獲取第二量化模型，所述第二量化模型用于根據(jù)所述第一神經(jīng)網(wǎng)絡模塊的第1層至第m層的m個第一特征表示，得到所述第一神經(jīng)網(wǎng)絡模塊的第m層的第二特征表示，其中，每層的第一特征表示均為用32位浮點數(shù)表示的特征表示，每層的第二特征表示均為賦值+1或-1的特征表示，1≤m≤n；

根據(jù)所述第二量化模型，將所述第一神經(jīng)網(wǎng)絡模塊各層對應的每個第一特征表示進行二值化操作，得到所述第一神經(jīng)網(wǎng)絡模塊各層對應的每個第二特征表示。