[發明專利]一種基于格拉姆矩陣正則化的卷積神經網可視化方法

有效

• 申請號: 201810258375.6
• 申請日: 2018-03-27
• 公開（公告）號: CN108470209B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 王少帆;邵廣翠;孔德慧;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 吳蔭芳

本發明公開了一種基于格拉姆矩陣正則化的卷積神經網可視化方法，包括給定一個圖像表示函數和參考表示，通過優化目標函數求出這個參考表示的輸入層數據，作為對應的卷積神經網絡待可視化層的可視化結果。本發明可以對不同的卷積神經網絡的不同層的特征進行可視化。本發明對可視化技術的正則項進行了改進，取得了對可視化的愚弄效應進行抵抗的效果。

技術領域

本發明屬于計算機視覺和模式識別領域，特別涉及一種基于格拉姆矩陣正則化的卷積神經網可視化方法。

背景技術

卷積神經網絡CNN是近年來模式識別領域的重要模型，在圖像分類、人臉識別、自然語言處理、語音識別等諸多應用領域取得了較高的分類和識別精度。CNN帶來了高精度的預測模型，但是同時也留下重要的問題，在復雜的多層非線性網絡結構中，究竟是什么讓訓練好的CNN模型給出近乎完美的預測答案？從CNN被大規模研究使用以來，學者們持續不斷的探索可以理解和解釋CNN的方法，其中可視化技術被證明是解釋CNN內部結構最有效的方法之一。

Aravindh Mahendran和Vedaldi等[1]提出了一種可視化方法，該方法求解經過卷積神經網絡某層的特征表示與給定特征映射接近的圖像，將所求圖像作為卷積神經網絡某層的可視化結果。然而，這種可視化方法尚且存在一定問題，即：黑色的背景可視化出綠色的背景。這種可視化與神經網絡容易被愚弄不謀而合，所謂愚弄[2]，即不同的圖片在某層會有相同的表示，神經網絡會以較高的置信度把表示相近的不同類圖片分到同一類別，比如顏色相近的卡車和棒球服以高置信度分到同一類，而兩者顯然不是同一類別。

發明內容

為了解決神經網絡容易被愚弄的問題，本發明在上述Mahendran和Vedaldi等提出的方法基礎上進行了改進，提出一種基于格拉姆矩陣的新的可視化方法，格拉姆矩陣能夠提取整體風格，來抵抗可視化時的這種愚弄。以此對研究神經網絡的研究者對CNN的構造有指導意義。

本發明提出一類基于格拉姆矩陣正則化的卷積神經網絡可視化方法。其基本思想是：給定一個圖像表示函數Φ：和參考表示Φ₀＝Φ(x₀)，通過優化目標函數求出這個參考表示的輸入層數據，作為對應的卷積神經網絡待可視化層的可視化結果，即本發明中迭代后得到的解圖像X。這里的圖像表示函數Φ是卷積神經網絡待可視化層的特征映射，x₀是輸入圖像，Φ₀是輸入圖像在待可視化層的表示。本發明可以對不同的卷積神經網絡的不同層的特征進行可視化，模型如CaffeNet、AlexNet、VGG16、VGG19、GoogleNet等。本發型的創新點在于目標函數中引入格拉姆正則。

具體技術方案如下：

步驟(1):準備待可視化的卷積神經模型CNN、輸入圖像x₀，以及初始化解圖像X＝X₀；

待可視化的卷積神經模型CNN可以是常見的CaffeNet、AlexNet、ZFNet、VGG16、VGG19、GoogleNet、ResNet等,但不局限于這些。

步驟(2):計算輸入圖像x₀的特征映射及格拉姆正則項，具體如下：

1)、計算輸入圖像x₀在卷積神經模型中待可視化的第l層的特征映射Φ_l(x₀)；Φ_l(x₀)由經典卷積神經網絡計算特征映射的方法得到。