[發(fā)明專利]一種自適應(yīng)交互結(jié)構(gòu)學(xué)習(xí)的雙二次池化模型

在審

• 申請(qǐng)?zhí)枺?/td>: 202110350164.7
• 申請(qǐng)日: 2021-03-31
• 公開（公告）號(hào): CN113139587A
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 譚敏;袁富;俞俊
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種自適應(yīng)交互結(jié)構(gòu)學(xué)習(xí)的雙二次池化模型，其特征在于將自適應(yīng)的交互結(jié)構(gòu)選擇與圖像分類融合在一個(gè)統(tǒng)一的多任務(wù)模型框架中，同時(shí)也能夠端到端地完成訓(xùn)練，并在細(xì)粒度分類基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)具有競(jìng)爭(zhēng)力的分類準(zhǔn)確率，具體實(shí)現(xiàn)步驟如下：

步驟(1)：圖像數(shù)據(jù)預(yù)處理

在模型訓(xùn)練前對(duì)圖像做尺寸變換和數(shù)據(jù)增強(qiáng)操作，使得圖像尺寸大小一致；

步驟(2)：基于雙二次池化的多尺度特征交互，構(gòu)建層次化深度模型；

步驟(3)：構(gòu)建權(quán)重向量

利用層次化深度模型提取預(yù)處理過后圖像的多個(gè)雙二次池化特征后，構(gòu)建維度為雙二次池化特征個(gè)數(shù)的權(quán)重向量；并且在層次化深度模型中添加加權(quán)池化特征；所述的加權(quán)池化特征是由權(quán)重向量與對(duì)應(yīng)的雙二次池化特征相對(duì)應(yīng)乘獲得；

步驟(4)：對(duì)權(quán)重向量進(jìn)行稀疏約束

步驟(5)：設(shè)計(jì)監(jiān)督模塊，然后利用所有加權(quán)池化特征構(gòu)建一個(gè)全局分類損失；

步驟(6)：模型訓(xùn)練與測(cè)試。

2.根據(jù)權(quán)利要求1所述的一種自適應(yīng)交互結(jié)構(gòu)學(xué)習(xí)的雙二次池化模型，其特征在于步驟(2)具體實(shí)現(xiàn)如下：

2-1.在同一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中，選取最后的三個(gè)階段，按照每個(gè)階段中特征尺寸由大變小將其分別稱為低級(jí)階段、中級(jí)階段、高級(jí)階段；從每個(gè)階段中選取一個(gè)或多個(gè)卷積層的特征，三個(gè)階段選取的特征分別稱為低層特征組、中層特征組、高層特征組；低層特征組中包含至少一個(gè)卷積層特征，最多包含低級(jí)階段所有的卷積層特征；中層特征組與高層特征組分別至少包含兩個(gè)卷積層特征，最多包含整個(gè)對(duì)應(yīng)階段所有的卷積層特征；然后利用殘差下采樣模塊對(duì)低層特征組和中層特征組中所含的特征分別進(jìn)行調(diào)整，使其特征尺寸與高層特征組中特征的尺寸一致；

2-2.低層、中層以及高層特征組之間的特征兩兩進(jìn)行雙二次池化操作；在步驟2-1中經(jīng)過殘差下采樣模塊得到新的低層與中層特征組后，不同層次特征組包含的所有特征首先跨層兩兩之間做內(nèi)積，使不同層次特征組所含的特征兩兩進(jìn)行交互；然后將每個(gè)交互后的特征與自身的轉(zhuǎn)置做矩陣外積得到雙二次池化特征，簡(jiǎn)稱池化特征，由此便得到基于雙二次池化的層次化深度模型。

3.根據(jù)權(quán)利要求2所述的一種自適應(yīng)交互結(jié)構(gòu)學(xué)習(xí)的雙二次池化模型，其特征在于殘差下采樣模塊如下：

殘差下采樣結(jié)構(gòu)具有兩條分支：主分支包含一個(gè)大小為k*k且步長(zhǎng)為k的最大池化,之后還包含一個(gè)卷積核大小與步長(zhǎng)均為1的卷積層；另一條殘差分支包含一個(gè)卷積核大小與步長(zhǎng)均為k的卷積層，用于補(bǔ)償主分支中由于最大池化所丟失的信息；最終將兩條分支的特征相加后經(jīng)過一個(gè)歸一化層。

4.根據(jù)權(quán)利要求2或3所述的一種自適應(yīng)交互結(jié)構(gòu)學(xué)習(xí)的雙二次池化模型，其特征在于步驟(3)所述的權(quán)重向量構(gòu)建過程具體如下：

3-1.在層次化深度模型產(chǎn)生多個(gè)池化特征后，構(gòu)建維度與池化特征個(gè)數(shù)等長(zhǎng)的權(quán)重向量；

3-2.在層次化深度模型進(jìn)行首輪訓(xùn)練時(shí)，對(duì)層次化深度模型得到的每個(gè)池化特征求取均值，用所有池化特征的均值來初始化權(quán)重向量，并在訓(xùn)練迭代過程中對(duì)權(quán)重向量進(jìn)行歸一化，使權(quán)重向量w中每個(gè)值的范圍處于[0,1]，具體公式如下：

其中max{}和min{}分別對(duì)權(quán)重向量中的所有值取最大值、最小值；Relu(w)表示線性整流激活函數(shù)；

3-3.將歸一化之后的權(quán)重向量與所有池化特征進(jìn)行對(duì)應(yīng)相乘得到加權(quán)池化特征。

5.根據(jù)權(quán)利要求4所述的一種自適應(yīng)交互結(jié)構(gòu)學(xué)習(xí)的雙二次池化模型，其特征在于步驟(5)所述的設(shè)計(jì)監(jiān)督模塊是指利用所有加權(quán)池化特征來構(gòu)造全局分類損失。

6.根據(jù)權(quán)利要求5所述的一種自適應(yīng)交互結(jié)構(gòu)學(xué)習(xí)的雙二次池化模型，其特征在于步驟(6)構(gòu)建多任務(wù)深度學(xué)習(xí)模型，具體是指依照步驟(2)、(3)、(4)、(5)建立端到端的框架后，在指定數(shù)據(jù)集上，同時(shí)優(yōu)化實(shí)際分類損失、監(jiān)督模塊的全局分類損失以及權(quán)重向量的稀疏約束；

實(shí)際分類損失的構(gòu)造過程如下：

根據(jù)權(quán)重向量中各個(gè)數(shù)值的大小，選取最大K個(gè)數(shù)值所對(duì)應(yīng)的加權(quán)池化特征，將選取出的加權(quán)池化特征進(jìn)行拼接之后通過一層全連接用于最終分類，產(chǎn)生的分類損失稱為實(shí)際分類損失；其中K值最小為1，最大為加權(quán)池化特征的個(gè)數(shù)；

首先根據(jù)特定的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建層次化深度模型，在其上增加權(quán)重向量以及稀疏約束、監(jiān)督模塊后得到最終的自適應(yīng)交互結(jié)構(gòu)學(xué)習(xí)的雙二次池化模型；在訓(xùn)練過程中，首先固定由Imagenet數(shù)據(jù)集預(yù)訓(xùn)練得到的特定卷積神經(jīng)網(wǎng)絡(luò)部分的參數(shù)，只訓(xùn)練其他新增模塊的參數(shù)；之后再微調(diào)整個(gè)網(wǎng)絡(luò)，得到最終模型并在測(cè)試集上測(cè)試訓(xùn)練效果；整個(gè)模型的具體優(yōu)化目標(biāo)函數(shù)如下：

其中θ，w分別表示模型的參數(shù)和權(quán)重向量；y^s代表樣本s的標(biāo)簽；分別表示樣本s的模型實(shí)際分類輸出和監(jiān)督模塊全局分類輸出；α,λ,λ',δ分別表示各個(gè)損失間的比例；N表示訓(xùn)練集中圖片數(shù)量。