[發(fā)明專利]一種優(yōu)化決策邊界增強深度神經(jīng)網(wǎng)絡(luò)魯棒性的圖像分類方法

在審

• 申請?zhí)枺?/td>: 202110133058.3
• 申請日: 2021-01-29
• 公開（公告）號: CN112784915A
• 公開（公告）日: 2021-05-11
• 發(fā)明（設(shè)計）人: 劉波;杜賓
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 張慧

1.一種優(yōu)化決策邊界增強深度神經(jīng)網(wǎng)絡(luò)魯棒性的圖像分類方法，其特征包括以下步驟中的以下部分：

步驟1：搭建網(wǎng)絡(luò)，輸入為圖片；

步驟2：訓(xùn)練網(wǎng)絡(luò)，根據(jù)訓(xùn)練完成得到的參數(shù)構(gòu)建決策域模型；

步驟3：利用構(gòu)建的決策域模型生成對抗樣本；

步驟4：使用對抗樣本訓(xùn)練步驟1搭建的網(wǎng)絡(luò)，使得網(wǎng)絡(luò)的決策邊界向?qū)箻颖痉较蛞苿樱沟镁W(wǎng)絡(luò)對擾動的敏感性降低，將待分類圖像輸入得到的神經(jīng)網(wǎng)絡(luò)模型進行分類。

2.根據(jù)權(quán)利要求1所述的一種優(yōu)化決策邊界增強深度神經(jīng)網(wǎng)絡(luò)魯棒性的圖像分類方法，其特征在于：步驟1所述的網(wǎng)絡(luò)結(jié)構(gòu)具體如下，

網(wǎng)絡(luò)結(jié)構(gòu)為依次包括第一卷積層，第一最大池化層，直到第M₁卷基層，第M₁最大池化層，之后依次包括第一全連接層，第二全連接層，直到第M₂全連接層，其中M₁表示卷積層和池化層的數(shù)量，M₁為零到正無窮中的任意正整數(shù)，M₂表示全連接層的數(shù)量，M₂為大于2的任意正整數(shù)；M₁優(yōu)選為2，M₂優(yōu)選為3。

3.根據(jù)權(quán)利要求1所述的一種優(yōu)化決策邊界增強深度神經(jīng)網(wǎng)絡(luò)魯棒性的圖像分類方法，其特征在于：步驟2所述的全連接層決策域模型分為三個部分：輸入層決策域模型、輸出層決策域模型與中間層決策域模型，其中所述的輸入層決策域模型對應(yīng)第一全連接層，輸出層決策域模型對應(yīng)第M₂全連接層，中間層決策域模型對應(yīng)其他全連接層；

輸入層決策域模型是由第一全連接層中所有節(jié)點對應(yīng)的決策邊界共同構(gòu)成的，構(gòu)建輸入層決策域模型的過程為：一個節(jié)點激活后得到一個判別式，該判別式對輸入空間進行一次劃分，遍歷第一全連接層的每一個節(jié)點，不斷對輸入空間進行劃分，最終得到若干個區(qū)域，其中，令一個節(jié)點的激活函數(shù)等于0就得到該節(jié)點的判別式，判別式對應(yīng)的超平面就是決策邊界，輸入空間為第M1最大池化層的輸出對應(yīng)的值域；節(jié)點權(quán)重由網(wǎng)絡(luò)預(yù)訓(xùn)練得到，全連接層參數(shù)包括權(quán)重矩陣W以及閾值B；使用t表示對應(yīng)的層數(shù)，對應(yīng)層權(quán)重為w_t(w_t∈W)，閾值為b_t(b_t∈B)，第t層的節(jié)點數(shù)為N_t，用j_t表示第t層第j個節(jié)點，則第t層第j個節(jié)點的權(quán)重為閾值為

中間層決策域模型的構(gòu)建過程為：進一步劃分前一層得到的空間域，具體劃分方法為，根據(jù)當前層中每一個節(jié)點激活后得到的判別式，對前一層得到的空間域進一步劃分，遍歷當前全連接層的每一個節(jié)點，不斷對前一層得到的空間域進行劃分，最終得到若干個區(qū)域；

輸出層決策域模型用于進行類別劃分，構(gòu)建過程為：對于n分類任務(wù)，第M₂全連接層有n個節(jié)點，通過這n個節(jié)點得到每個類別對應(yīng)的區(qū)域，其中，第i個類別對應(yīng)的區(qū)域的邊界條件由n-1個不等式構(gòu)成，具體如下：

其中，表示第M₂全連接層第l個節(jié)點的輸出函數(shù)；

輸出層決策域模型接受最后一個中間層輸出的所有不等式組以及相應(yīng)的輸出函數(shù)作為本層的輸入，并使用本層節(jié)點的參數(shù)，權(quán)重和閾值來計算本層產(chǎn)生的決策邊界。

4.根據(jù)權(quán)利要求1所述的一種優(yōu)化決策邊界增強深度神經(jīng)網(wǎng)絡(luò)魯棒性的圖像分類方法，其特征在于：對抗樣本的生成過程如下，

將訓(xùn)練集與測試集中的圖片x輸入步驟1構(gòu)建的網(wǎng)絡(luò)中，第M₁個最大池化層的對應(yīng)輸出為x₀，遍歷所有x₀,求出其所在決策域中離x₀最近的邊界，以及距邊界的距離d，當d小于設(shè)定的閾值θ時，得到干擾項p＝d+ε，其中，ε表示一個足夠小的隨機數(shù)；然后使用反卷積得到p在輸入維度下的p',以構(gòu)建對抗樣本x'＝x+p'。

5.根據(jù)權(quán)利要求1所述的一種優(yōu)化決策邊界增強深度神經(jīng)網(wǎng)絡(luò)魯棒性的圖像分類方法，其特征在于：在構(gòu)建決策域模型之后還可以進行決策域模型驗證，具體利用決策域與步驟1構(gòu)建的網(wǎng)絡(luò)對樣本分類機型一致性評價，達到預(yù)設(shè)要求后，則利用決策域模型生成對抗樣本，否則重新構(gòu)建決策域模型。