[發明專利]一種對神經網絡中層特征表達能力的可視化及定量分析方法和系統

在審

• 申請號: 202111240906.7
• 申請日: 2021-10-25
• 公開（公告）號: CN113963185A
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 張拳石
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/77;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海一平知識產權代理有限公司 31266
• 代理人: 徐迅;崔佳佳

1.一種對神經網絡中層特征表達能力的可視化及定量分析方法，其特征在于，包括以下步驟

(1)選取特征解釋對象：

選取待分析的模型，其中，所述模型包括有中層表達，包括：神經網絡，層次化圖模型；

(2)提取神經網絡特征：

提供一組輸入樣本，將這些樣本輸入上述神經網絡，提取這些樣本的特征，其中，所述特征包括：樣本級別特征(sample-wise feature)和區域級別特征(regional feature)；

(3)特征降維，得到可視化結果：

首先對樣本級別特征進行降維，得到樣本級別特征在低維空間中的可視化結果；其次，基于樣本級別特征的低維表征和區域級別特征，將區域級別特征進行降維，以得到區域級別特征在低維空間中的可視化結果；

(4)根據可視化結果對特征進行定量分析：

基于所述可視化結果，定量分析特征中知識點(knowledge point)的數量與質量。

2.根據權利要求1所述的方法，其特征在于，所述步驟(2)中對樣本級別特征的提取，進一步包括以下步驟：

將給定的一組樣本輸入待分析的神經網絡，對于每個樣本，都提取該神經網絡某一中間層的輸出特征，從而得到每個輸入樣本對應的樣本級別特征，即可得到該組輸入樣本對應的樣本級別特征。

3.根據權利要求1中所述的方法，其特征在于，所述步驟(2)中對區域級別特征的提取，進一步包括以下步驟：

將給定的一組輸入樣本輸入待分析的神經網絡，對于每個樣本，都提取該神經網絡某一卷積層的輸出特征，從而得到每個輸入樣本對應的特征圖(feature map)，其中，特征圖的每一個位置對應的高維向量即為該樣本在這一區域的區域級別特征；當這一特征圖的高與寬分別為H和W，且共有K個通道時，那么，這一特征圖包含HW個區域級別特征，其中，每個區域級別特征為一個K維向量。

4.根據權利要求1中所述的方法，其特征在于，所述步驟(3)中對樣本級別特征的降維過程，包括以下步驟：

對于每個樣本x對應的樣本級別特征通過一個投影矩陣將其映射到一個低維空間中，得到樣本級別特征的低維表征并且，優化M使得該低維表征應當滿足，低維表征g和各個類。

5.根據權利要求4中所述的方法，其特征在于，所述低維表征和各個類別的接近程度的計算，包括：

(a)利用徑向分布(radial distribution)建模樣本級別特征的低維表征g在低維空間中的分布；

(b)計算低維表征與各個類別的接近程度。

6.根據權利要求5所述的方法，其特征在于，所述步驟(a)包括：

基于徑向分布，g在低維空間的概率密度函數可寫為如下形式：

其中，y∈{1，2，...，C}表示分類任務中的不同類別；π_y表示第y類的先驗概率；l_g＝||g||表示g的L2范數，稱為g的強度(strength)；o_g＝g/l_g表示g的方向(orientation)；μ_y表示第y類的平均方向(meandirection)；κ(·)是一個單調遞增的函數，p(l_g|y)表示在類別y上l_g的先驗概率，p_vMF(o_g|μ_y，κ(l_g))表示平均方向為μ_y，聚集參數(concentration parameter)為κ(l_g)的vMF分布(von Mises-Fisher distribution)。

7.根據權利要求5中所述的方法，其特征在于，所述步驟(b)包括：

基于上述徑向分布，并假設l_g的先驗概率與類別y是獨立的，那么，低維表征g和第y類的接近程度Q_M(y|x)表示為如下形式：