[發明專利]一種基于特征空間相關性的神經網絡正則化方法

在審

• 申請號: 202010632236.2
• 申請日: 2020-07-03
• 公開（公告）號: CN111950699A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 戴濤;曾鈺媛;夏樹濤;李清;李偉超;汪漪
• 申請（專利權）人: 清華大學深圳國際研究生院;鵬城實驗室
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 溫宏梅

1.一種基于特征空間相關性的神經網絡正則化方法，其特征在于，所述方法包括：

獲取待處理特征圖的空間相關性矩陣，基于所述空間相關性矩陣確定所述待處理特征圖對應的第一丟棄掩碼矩陣；

根據所述第一丟棄掩碼矩陣以及所述待處理特征圖，確定所述待處理特征圖對應的第一特征圖；

確定所述第一特征圖對應的通道相關性向量，并基于通道相關性向量確定所述待處理特征圖對應的第二丟棄掩碼矩陣；

根據所述第二丟棄掩碼矩陣以及所述第一特征圖，確定所述待處理特征圖對應的丟棄后的特征圖。

2.根據權利要求1所述基于特征空間相關性的神經網絡正則化方法，其特征在于，所述待處理特征圖為神經網絡中一卷積層輸出的特征圖。

3.根據權利要求1所述基于特征空間相關性的神經網絡正則化方法，其特征在于，所述獲取待處理特征圖的空間相關性矩陣具體包括：

對所述待處理特征圖進行下采樣，以得到待下采樣特征圖；

將所述下采樣特征圖轉換為特征矩陣，并對所述特征矩陣進行歸一化處理，以得到歸一化特征矩陣；

根據特征正交性，確定所述歸一化特征矩陣對應的空間相關性矩陣。

4.根據權利要求1所述基于特征空間相關性的神經網絡正則化方法，其特征在于，所述基于所述空間相關性矩陣確定所述下采樣特征圖對應的第一丟棄掩碼矩陣具體包括：

根據所述空間相關性矩陣確定所述下采樣特征圖對應的第一丟棄概率向量，并根據所述第一丟棄概率向量，確定所述下采樣特征圖對應的第三丟棄掩碼矩陣；

確定所述第三丟棄掩碼矩陣對應的第一候選丟棄比例，并根據預設的第一丟棄比例以及所述第一候選丟棄比例，確定所述下采樣特征圖對應的第一目標丟棄比例；

根據所述第一目標丟棄比例，確定所述下采樣特征圖對應的第四丟棄掩碼矩陣；

根據所述第三丟棄掩碼矩陣和所述第四丟棄掩碼矩陣，確定所述待處理特征圖對應的第一丟棄掩碼矩陣。

5.根據權利要求4所述基于特征空間相關性的神經網絡正則化方法，其特征在于，所述根據所述第三丟棄掩碼矩陣和所述第四丟棄掩碼矩陣，確定所述待處理特征圖對應的第一丟棄掩碼矩陣具體包括：

在所述第三丟棄掩碼矩陣中選取目標元素，其中，所述目標元素的元素值以及目標元素對應的候選元素的元素值均為0，候選元素為在所述第四丟棄掩碼中的元素位置與目標元素在第三丟棄掩碼矩陣中的元素位置相同；

將所述第三丟棄掩碼矩陣中除目標元素外的其它元素的元素值設置為1，以得到所述下采樣特征圖對應的丟棄掩碼矩陣；

對所述下采樣特征圖對應的丟棄掩碼矩陣進行上采樣，以得到待處理特征圖對應的丟棄掩碼矩陣，其中，所述待處理特征圖對應的丟棄掩碼矩陣對應的圖像尺寸與待處理特征圖的圖像尺寸相同。

6.根據權利要求1所述基于特征空間相關性的神經網絡正則化方法，其特征在于，所述根據所述第一丟棄掩碼矩陣以及所述待處理特征圖，確定所述待處理特征圖對應的第一特征圖具體為：

將所述第一丟棄掩碼矩陣與所述待處理特征圖進行點積相乘，以得到所述待處理特征圖對應的第一特征圖。

7.根據權利要求1所述基于特征空間相關性的神經網絡正則化方法，其特征在于，所述確定所述第一特征圖對應的通道相關性向量具體包括：

將所述第一特征圖沿通道方向轉換，以得到所述第一特征圖對應的特征矩陣；

根據特征正交性，確定所述特征矩陣對應的通道相關性向量。