[發(fā)明專利]一種雙線性特征融合的細粒度概念模型及學習方法

有效

• 申請?zhí)枺?/td>: 201811451741.6
• 申請日: 2018-11-30
• 公開（公告）號: CN109685115B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設計）人: 彭進業(yè);侯勇;張翔;元莉偉;李紅穎;羅迒哉;王珺;王琳;趙萬青;李展
• 申請（專利權）人: 西北大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/774
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 李婷

1.一種雙線性特征融合的細粒度概念模型及學習方法，其特征在于，包括以下步驟：

步驟1，對數據集進行預處理和數據增強處理；

步驟2，建立雙線性細粒度概念模型

雙線性細粒度概念模型包括VGG-16網絡的conv5_1層、conv5_2層、conv5_3層這三個網絡層，以及全連接層和分類器；

其中，對所述三個網絡層輸出的特征圖進行分別進行雙線性操作，得到雙線性特征，然后對雙線性特征進行池化處理，得到一維特征向量；

針對所述三個網絡層中的任意一個網絡層，一個雙線性操作β由四元組構成：

β＝(f_A,f_B,P,C)

其中，P表示池化操作，C表示分類器，f_A,f_B表示特征函數，用于通過卷積核提取圖像的特征；

網絡模型的雙線性特征bilinear(l,I,f_A,f_B)是由下面雙線性操作公式得到：

bilinear(l,I,f_A,f_B)＝f_A(l,I)^Tf_B(l,I)

其中，特征函數f_A、f_B設置為相同的維度，f_A(l,I)^T、f_B(l,I)表示通過卷積核L對輸入圖像I卷積操作后得到的特征圖M中每個像素點l處的特征向量進行外積運算；

之后為了得到特征圖M的池化特征，采用下面的池化處理操作：

記f_A,f_B對輸入圖像I提取到的特征尺寸大小分別為C×M、C×N，經過上述外積和池化操作，最終得到的特征尺寸大小C×C×M×N，先將進行拉長處理為C×C×M×N×1的一維向量，再做一個平均化操作，將除以特征圖的尺寸C×C從而得到MN×1大小的一維特征向量x；

步驟3，對所述的一維特征向量進行平方根操作后，進行L2正則化操作；

步驟4，采用以下任意一種融合方案進行特征的融合：

第一種融合方案：

將三個網絡層輸出的特征圖分別經過雙線性操作、池化處理和步驟3的處理后得到的特征z1、z2、z3進行concat融合操作，得到多路融合的雙線性特征V即為最終的特征向量：

V＝concat(z1,z2,z3)

其中，concat(·)表示對(·)內的向量按照水平維度進行堆疊；

第二種融合方案：

對三個網絡層輸出的特征圖分別進行降維處理后得到的特征圖，經過雙線性操作、池化處理和步驟3的處理后得到的特征進行concat融合操作，得到最終的特征向量；

第三種融合方案：

首先，將conv5_1層、conv5_2層、conv5_3層輸出的特征圖進行融合，融合方法為采用將特征圖各個像素點的像素值元素相加的形式進行特征圖融合，融合后的特征圖經過一個2x2窗口，步長為1x1的最大池化層，進而再拉長為一維向量，送入另外一個全連接層，得到多視窗特征；

其次，將conv5_2層、conv5_3層提取的特征圖，按照步驟2、3的雙線性操作、池化處理和步驟3的處理后，進行concat融合操作，得到兩路融合的雙線性特征；

最后，將所述的多視窗特征、兩路融合的雙線性特征進行concat融合操作進行特征融合，得到最終的特征向量；

將上述任意一種融合方案得到的最終的特征向量送入步驟2所述的全連接層、分類器得到最終的分類結果；

步驟5，網絡模型訓練

通過隨機梯度下降算法利用數據集訓練網絡模型，保存訓練得到的網絡模型進行圖像分類。