[發明專利]神經網絡訓練方法、裝置、圖像分類方法、設備和介質

在審

• 申請號: 202010103881.5
• 申請日: 2020-02-20
• 公開（公告）號: CN111275175A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 馬宇哲;姚旭峰;李睿宇;沈小勇;余備
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王娟

本公開提供了一種神經網絡訓練方法、裝置、圖像分類方法、設備和介質。所述神經網絡訓練方法包括：獲取源域和目標域，其中，所述源域中包括多個第一樣本，所述目標域中包括多個第二樣本；分別確定對應于源域和目標域的各個類別的類別權重，并基于所述類別權重計算所述源域和目標域的軟權重最大均值差異；基于所述神經網絡的批歸一化層系數，計算用于網絡壓縮的冗余值；以及基于所述軟權重最大均值差異和所述冗余值來訓練所述神經網絡。

技術領域

本公開涉及機器學習技術領域，更具體地，涉及一種神經網絡訓練方法、裝置、圖像分類方法、設備和介質。

背景技術

遷移學習作為機器學習的一個分支，其主要目標是將神經網絡基于源域(或者稱為源領域)習得的知識和方法遷移到目標域(或者稱為目標領域)，類似于人腦進行舉一反三的學習能力，一般地，目標域中的數據量小于源域中的數據量。對于計算機而言，所謂遷移學習，就是能讓現有的模型算法稍加調整即可應用于一個新的領域和功能的技術。例如，基于局部領域自適應的訓練方法可以使得神經網絡實現所述遷移學習。然而，現有的基于局部領域自適應的訓練方法存在學習效果較差的缺陷，不能很好的表征源域與目標域之間的差異，進一步的，按照所述訓練方法進行神經網絡訓練的過程具有較大的運行開銷以及冗余性，訓練速率較低。

發明內容

本公開提供一種基于局部領域自適應和網絡壓縮的神經網絡訓練方法，用于將局部領域自適應和網絡壓縮統一于一個完整訓練過程，以實現源域到目標域的遷移學習。

根據本公開的一方面，提供了一種基于局部領域自適應和網絡壓縮的神經網絡訓練方法，包括：獲取源域和目標域，所述源域中包括多個第一樣本，所述目標域中包括多個第二樣本；分別確定對應于源域和目標域的各個類別的類別權重，并基于所述類別權重計算所述源域和目標域的軟權重最大均值差異；基于所述神經網絡的批歸一化層系數，計算用于網絡壓縮的冗余值；以及基于所述軟權重最大均值差異和所述冗余值來訓練所述神經網絡。

根據本公開的一些實施例，所述源域中的第一樣本對應于m個類別，所述目標域中的第二樣本對應于n個類別，所述n個類別屬于所述m個類別的子集。

根據本公開的一些實施例，所述分別確定對應于源域和目標域的各個類別的類別權重包括：對于源域，基于所述源域中的第一樣本在各個類別所占的比重來確定對應于源域的各個類別的類別權重；對于目標域，利用所述神經網絡對所述目標域中的第二樣本進行處理以得到概率分布，基于所述概率分布確定對應于目標域的各個類別的類別權重。

根據本公開的一些實施例，所述方法還包括：基于所述概率分布確定所述第二樣本的類別權重：基于所述概率分布確定所述第二樣本的類別標簽；將所述第二樣本的類別標簽所對應的類別的類別權重確定為所述第二樣本的類別權重。

根據本公開的一些實施例，所述計算所述源域和目標域的軟權重最大均值差異包括：基于所述對應于源域和目標域的各個類別的類別權重確定權重比；計算所述第一樣本到再生核希爾伯特空間的特征映射，并利用所述權重比進行加權，以得到第一映射；計算所述第二樣本到再生核希爾伯特空間的特征映射，以得到第二映射；基于所述第一映射和所述第二映射確定所述源域和目標域的軟權重最大均值差異，其中，所述再生核希爾伯特空間與高斯核相關聯。

根據本公開的一些實施例，所述神經網絡包括多個通道，每個通道中包括批歸一化層，所述計算用于網絡壓縮的冗余值包括：對于所述多個通道中的每個通道，基于該通道的批歸一化層系數計算該通道的冗余值；所述基于所述軟權重最大均值差異和所述冗余值來訓練所述神經網絡包括：對于冗余值小于閾值的通道，將該通道設置為零以進行網絡壓縮；以及將所述軟權重最大均值差異作為損失函數來訓練經過網絡壓縮的所述神經網絡。

根據本公開的一些實施例，所述計算冗余值包括：基于所述批歸一化層系數的梯度與所述批歸一化層系數的乘積確定所述冗余值。