[發明專利]一種基于特征空間相關性的神經網絡正則化方法

在審

• 申請號: 202010632236.2
• 申請日: 2020-07-03
• 公開（公告）號: CN111950699A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 戴濤;曾鈺媛;夏樹濤;李清;李偉超;汪漪
• 申請（專利權）人: 清華大學深圳國際研究生院;鵬城實驗室
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 溫宏梅

本發明公開了一種基于特征空間相關性的神經網絡正則化方法，所述方法包括：獲取待處理特征圖的空間相關性矩陣，基于空間相關性矩陣確定第一丟棄掩碼矩陣；根據第一丟棄掩碼矩陣以及待處理特征圖，確定待處理特征圖對應的第一特征圖；確定所述第一特征圖對應的通道相關性向量，并基于通道相關性向量確定待處理特征圖對應的第二丟棄掩碼矩陣；根據所述第二丟棄掩碼矩陣以及所述第一特征圖，確定所述待處理特征圖對應的丟棄后的特征圖。本發明基于空間特征相關性以及通道特征相關性對特征圖進行特征丟棄，這樣可以有效選擇特征圖中低相關性的特征進行丟棄，以達到自適應丟棄的目的，可以對CNN網絡進行有效的正則，提高模型的泛化能力。

技術領域

本發明涉及神經網絡技術領域，特別涉及一種基于特征空間相關性的神經網絡正則化方法。

背景技術

深度神經網絡是一種高度非線性的模型，在訓練過程中很容易發生過擬合的問題，因此在機器學習的研究中，各類正則算法被提出，用以提高機器學習模型的泛化性能。早期的正則化方法通過在損失函數上增加一個正則項或罰項來限制模型(如線性模型，神經網絡)的復雜度，如L1正則化，L2正則化等。該正則項通常是參數范數懲罰，用以減小模型參數的規模。在計算機視覺的研究中，數據增強是一種常用且有效的正則化方法。例如在圖像中，數據增強通過對圖像進行水平/垂直翻轉，縮放，旋轉，裁剪，增加色彩抖動和噪聲等方法增加訓練數據集，使得訓練集具有多樣性，從而增強模型的泛化能力。

隨著深度神經網絡的發展，更有效的正則技術被提出。2012年由Hinton等人提出了Dropout應用于全連接網絡中,該方法通過隨機將神經網絡中的部分神經元置零，達到網絡正則的作用。針對CNN的結構特性，一大類基于隨機丟棄的正則算法被提出，如Cutout,Spatial Dropout,DropBlock等。由于CNN在捕獲圖像特征時具有局部相關性的特點，因此這類正則算法通過設計結構化的丟棄規則來達到在CNN中有效丟棄局部特征的目的。其中Cutout在輸入圖像中隨機置零連續的像素區域，達到數據增廣的作用。Spat ial Dropout則隨機丟棄特征圖中的部分通道，DropBlock在特征圖的空間區域丟棄連續的激活區域來達到特征丟棄的目的。這類基于特征丟棄的方法，在一定程度上增大了網絡的學習難度，進而達到模型正則的作用，使得模型學到泛化性能更好的特征。

發明內容

本發明要解決的技術問題在于，針對現有技術的不足，提供一種基于特征空間相關性的神經網絡正則化方法。

為了解決上述技術問題，本發明所采用的技術方案如下：

一種基于特征空間相關性的神經網絡正則化方法，所述方法包括：

獲取待處理特征圖的空間相關性矩陣，基于所述空間相關性矩陣確定所述待處理特征圖對應的第一丟棄掩碼矩陣；

根據所述第一丟棄掩碼矩陣以及所述待處理特征圖，確定所述待處理特征圖對應的第一特征圖；

確定所述第一特征圖對應的通道相關性向量，并基于通道相關性向量確定所述待處理特征圖對應的第二丟棄掩碼矩陣；

根據所述第二丟棄掩碼矩陣以及所述第一特征圖，確定所述待處理特征圖對應的丟棄后的特征圖。

所述基于特征空間相關性的神經網絡正則化方法，其中，所述待處理特征圖為神經網絡中一卷積層輸出的特征圖。

所述基于特征空間相關性的神經網絡正則化方法，其中，所述獲取待處理特征圖的空間相關性矩陣具體包括：

對所述待處理特征圖進行下采樣，以得到待下采樣特征圖；

將所述下采樣特征圖轉換為特征矩陣，并對所述特征矩陣進行歸一化處理，以得到歸一化特征矩陣；

根據特征正交性，確定所述歸一化特征矩陣對應的空間相關性矩陣。