[發明專利]一種神經網絡解耦方法

在審

• 申請號: 202010559024.6
• 申請日: 2020-06-18
• 公開（公告）號: CN111723912A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 王振寧;許金泉;王溢;曾爾曼
• 申請（專利權）人: 南強智視（廈門）科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 泉州市潭思專利代理事務所(普通合伙) 35221
• 代理人: 廖仲禧;麻艷

1.一種神經網絡解耦方法，其特征在于包括如下步驟：

步驟1，對于神經網絡的每個卷積層，根據該卷積層中各個濾波器的重要性選取參與計算的濾波器；

步驟2，基于互信息損失函數、KL-散度損失函數和稀疏損失函數對步驟1得到的神經網絡進行訓練。

2.如權利要求1所述的一種神經網絡解耦方法，其特征在于：所述步驟1中，選取某個卷積層中參與計算的濾波器的方法是，對該卷積層的輸入X進行全局池化，得到其對應映射的一維特征s，然后利用兩個全連接層計算輸入通道之間的關聯性，并進行二值化處理以表征各個濾波器的重要性。

3.如權利要求2所述的一種神經網絡解耦方法，其特征在于：所述步驟1中，利用兩個全連接層計算輸入通道之間的關聯性，基于下式計算：

其中，l表示第l層卷積層，W₁、W₂表示兩個全連接層之間的權重；(*)₊表示非線性變換層。

4.如權利要求3所述的一種神經網絡解耦方法，其特征在于：所述步驟1中，采用SemHash進行二值化處理，訓練過程是：首先添加一個隨機噪聲α：

其中，α采用sigmoid函數；

計算如下向量：

其中，偏移sigmoid公式是：

σ'(x)＝max(0,min(1,1.2σ(x)-0.1))

在訓練中，對一半的樣本采用v₁，對另外一半的樣本采用v₂，然后反向計算梯度時，均采用v₁的梯度來進行計算。

5.如權利要求3所述的一種神經網絡解耦方法，其特征在于：所述步驟1中，在測試時，使用sign來處理輸入，得到二值數值：

6.如權利要求1所述的一種神經網絡解耦方法，其特征在于：所述步驟2中，訓練過程中的總體損失函數如下：

其中，表示神經網絡本身的損失函數；表示互信息損失函數，λ_m表示互信息損失函數的權重；表示KL-散度損失函數，λ_k表示KL-散度損失函數的權重；表示稀疏損失函數，λ_s表示稀疏損失函數的權重。

7.如權利要求6所述的一種神經網絡解耦方法，其特征在于：所述互信息損失函數的表達式如下：

其中，z^l表示結構編碼，A_X表示圖片X的屬性，L指神經網絡總層數，指將z^l轉換為與類別數量相同維度的一層全連接層。

8.如權利要求6所述的一種神經網絡解耦方法，其特征在于：所述KL-散度損失函數的表達式如下：

其中，y^l表示經過全局池化的當前卷積層的輸出，z^l表示結構編碼，KL代表KL散度，L表示神經網絡總層數。

9.如權利要求6所述的一種神經網絡解耦方法，其特征在于：所述稀疏損失函數的表達式如下：

其中，R表示壓縮率，N^l表示當前卷積層的濾波器數量，z^l表示結構編碼，L表示神經網絡總層數。