[發(fā)明專利]一種對(duì)神經(jīng)網(wǎng)絡(luò)中層特征表達(dá)能力的可視化及定量分析方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111240906.7
• 申請(qǐng)日: 2021-10-25
• 公開(kāi)（公告）號(hào): CN113963185A
• 公開(kāi)（公告）日: 2022-01-21
• 發(fā)明（設(shè)計(jì)）人: 張拳石
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06V10/74
• 分類號(hào): G06V10/74;G06V10/77;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海一平知識(shí)產(chǎn)權(quán)代理有限公司 31266
• 代理人: 徐迅;崔佳佳

本申請(qǐng)涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，公開(kāi)了一種對(duì)神經(jīng)網(wǎng)絡(luò)中層特征表達(dá)能力的可視化及定量分析方法和系統(tǒng)，可實(shí)現(xiàn)在無(wú)監(jiān)督的條件下，自動(dòng)可視化以及定量分析神經(jīng)網(wǎng)絡(luò)中層特征的表達(dá)能力。該方法包括：提供一待分析的神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)為在某一數(shù)據(jù)集上預(yù)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)；提供一組輸入樣本，將這些樣本輸入上述神經(jīng)網(wǎng)絡(luò)，提取這些樣本對(duì)應(yīng)的樣本級(jí)別特征，以及區(qū)域級(jí)別特征；分別對(duì)樣本級(jí)別特征與區(qū)域級(jí)別特征進(jìn)行降維，以得到在低維空間中的可視化結(jié)果；基于區(qū)域級(jí)別特征的可視化結(jié)果，定量分析特征中知識(shí)點(diǎn)的數(shù)量與質(zhì)量。

技術(shù)領(lǐng)域

本申請(qǐng)涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，特別涉及一種對(duì)神經(jīng)網(wǎng)絡(luò)中層特征表達(dá)能力的可視化及定量分析方法和系統(tǒng)。

背景技術(shù)

目前，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在各個(gè)領(lǐng)域展現(xiàn)出強(qiáng)大性能，但神經(jīng)網(wǎng)絡(luò)的黑盒本質(zhì)讓人們很難理解其內(nèi)部的行為。在現(xiàn)有的技術(shù)中，可視化方法是人工智能可解釋性領(lǐng)域最為廣泛應(yīng)用的方法，但無(wú)法利用現(xiàn)有的可視化方法去定量分析神經(jīng)網(wǎng)絡(luò)中層特征的表達(dá)能力。

因此，將神經(jīng)網(wǎng)絡(luò)的可視化解釋與中層特征表達(dá)能力的定量分析相結(jié)合，是人工智能可解釋性領(lǐng)域亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種對(duì)神經(jīng)網(wǎng)絡(luò)中層特征表達(dá)能力的可視化及定量分析方法和系統(tǒng)，可實(shí)現(xiàn)在無(wú)監(jiān)督的條件下，自動(dòng)可視化以及定量分析神經(jīng)網(wǎng)絡(luò)中層特征的表達(dá)能力。

本申請(qǐng)公開(kāi)了一種對(duì)神經(jīng)網(wǎng)絡(luò)中層特征表達(dá)能力的可視化及定量分析方法，包括以下步驟

(1)選取特征解釋對(duì)象：

選取待分析的模型，其中，所述模型包括有中層表達(dá)，包括：神經(jīng)網(wǎng)絡(luò)，層次化圖模型；

(2)提取神經(jīng)網(wǎng)絡(luò)特征：

提供一組輸入樣本，將這些樣本輸入上述神經(jīng)網(wǎng)絡(luò)，提取這些樣本的特征，其中，所述特征包括：樣本級(jí)別特征(sample-wise feature)和區(qū)域級(jí)別特征(regionalfeature)；

(3)特征降維，得到可視化結(jié)果：

首先對(duì)樣本級(jí)別特征進(jìn)行降維，得到樣本級(jí)別特征在低維空間中的可視化結(jié)果；其次，基于樣本級(jí)別特征的低維表征和區(qū)域級(jí)別特征，將區(qū)域級(jí)別特征進(jìn)行降維，以得到區(qū)域級(jí)別特征在低維空間中的可視化結(jié)果；

(4)根據(jù)可視化結(jié)果對(duì)特征進(jìn)行定量分析：

基于所述可視化結(jié)果，定量分析特征中知識(shí)點(diǎn)(knowledge point)的數(shù)量與質(zhì)量。

在一個(gè)優(yōu)選例中，所述步驟(1)進(jìn)一步包括以下步驟：

基于某一數(shù)據(jù)集，訓(xùn)練一神經(jīng)網(wǎng)絡(luò)，作為待分析的神經(jīng)網(wǎng)絡(luò)。可選地，該神經(jīng)網(wǎng)絡(luò)為一個(gè)分類神經(jīng)網(wǎng)絡(luò)。

在一個(gè)優(yōu)選例中，所述步驟(2)進(jìn)一步包括以下子步驟：

(a)對(duì)樣本級(jí)別特征的提取：將給定的一組樣本輸入待分析的神經(jīng)網(wǎng)絡(luò)，對(duì)于每個(gè)樣本，都提取該神經(jīng)網(wǎng)絡(luò)某一中間層的輸出特征，從而得到每個(gè)輸入樣本對(duì)應(yīng)的樣本級(jí)別特征，即可得到該組輸入樣本對(duì)應(yīng)的樣本級(jí)別特征。

(b)對(duì)區(qū)域級(jí)別特征的提取：將給定的一組輸入樣本輸入待分析的神經(jīng)網(wǎng)絡(luò)，對(duì)于每個(gè)樣本，都提取該神經(jīng)網(wǎng)絡(luò)某一卷積層的輸出特征，從而得到每個(gè)輸入樣本對(duì)應(yīng)的特征圖(feature map)，其中，特征圖的每一個(gè)位置對(duì)應(yīng)的高維向量即為該樣本在這一區(qū)域的區(qū)域級(jí)別特征。當(dāng)這一特征圖的高與寬分別為H和W，且共有K個(gè)通道時(shí)，那么，這一特征圖包含HW個(gè)區(qū)域級(jí)別特征，其中，每個(gè)區(qū)域級(jí)別特征為一個(gè)K維向量。

在一個(gè)優(yōu)選例中，所述步驟(3)進(jìn)一步包括以下子步驟：

(a)對(duì)樣本級(jí)別特征進(jìn)行降維，并在低維空間中進(jìn)行可視化；

(b)對(duì)區(qū)域級(jí)別特征進(jìn)行降維，并在低維空間中進(jìn)行可視化。