[發(fā)明專利]基于神經(jīng)主題模型的圖像集成分類方法及裝置

有效

• 申請?zhí)枺?/td>: 201711242374.4
• 申請日: 2017-11-30
• 公開（公告）號: CN108154156B
• 公開（公告）日: 2021-11-12
• 發(fā)明（設計）人: 李曉旭;耿丙乾;常東良;喻梨耘
• 申請（專利權）人: 蘭州理工大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

1.一種基于神經(jīng)主題模型的圖像集成分類方法，包括以下步驟：

S1，對圖像進行預處理，提取圖像的詞袋特征v和深度卷積神經(jīng)網(wǎng)絡特征v_CNN，其中，所述圖像包括訓練集和測試集；

S11，輸入圖像和類標信息；

S12，對圖像進行特征檢測，提取SIFT特征向量特征，即詞袋特征；

S13，利用訓練后的卷積神經(jīng)網(wǎng)絡，提取深度卷積神經(jīng)網(wǎng)絡特征；

S2，在神經(jīng)主題模型中引入所述深度卷積神經(jīng)網(wǎng)絡特征v_CNN，并結合集成分類方法softmax混合模型，構建圖像集成分類的神經(jīng)主題模型；

其中，將提取的SIFT詞袋特征v＝[v₁,v₂,...,v_D]和Deep-CNN特征v_CNN作為網(wǎng)絡的輸入層，詞袋特征v和類標y為網(wǎng)絡輸出層，結合集成分類方法softmax混合模型，將訓練集圖像和類標的聯(lián)合概率建模為：

其中，

x_l＞0，

p(y_l|v,v_CNN)＝softmax(d+U_lh(v_CNN,v))；

p(v_i＝t|v_CNN,v_＜i)使用前饋神經(jīng)網(wǎng)絡結構建模，

式中，v表示詞袋特征，y表示類標，L表示分類器的總數(shù)，x_l表示第l個Softmax的權重，y_l表示圖像在第l個分類器的預測值，D表示圖像的詞袋特征所包括的詞的個數(shù)，v_i表示圖像中的第i個詞v_＜i表示圖像中在第i個詞之前的詞，即第1個到i-1個詞；d、U表示參數(shù)，h()表示函數(shù)，v表示圖像中任意一個詞；g()表示sigmoid函數(shù)，c、T表示參數(shù)，表示參數(shù)矩陣；a表示softmax函數(shù)的輸入，j表示任意一類別，C表示j的最大值；b、V表示參數(shù)，t、t’表示字典中詞的序號；i、k表示圖像中詞的序號；

S3，基于訓練集優(yōu)化所述圖像集成分類的神經(jīng)主題模型的目標函數(shù)，并求解模型參數(shù)；

S4，利用優(yōu)化后的圖像集成分類的神經(jīng)主題模型對測試集圖像進行分類。

2.根據(jù)權利要求1所述的基于神經(jīng)主題模型的圖像集成分類方法，其中，在所述步驟S12中，提取SIFT特征向量特征后使用K-means聚類形成碼書，并將圖像用碼詞詞頻表示。

3.根據(jù)權利要求1所述的基于神經(jīng)主題模型的圖像集成分類方法，其中，在所述步驟S13中，在ImageNet數(shù)據(jù)集上訓練卷積神經(jīng)網(wǎng)絡VGG19，利用訓練后的卷積神經(jīng)網(wǎng)絡VGG19，提取實驗數(shù)據(jù)集上VGG19網(wǎng)絡的倒數(shù)第二個全連接層特征，即深度卷積神經(jīng)網(wǎng)絡特征v_CNN。

4.根據(jù)權利要求1所述的基于神經(jīng)主題模型的圖像集成分類方法，其中，在步驟S3中，所述目標函數(shù)為v_n表示訓練集中第n幅圖像的詞袋特征，y_n表示第n幅圖像的類標，N為n的最大值。

5.根據(jù)權利要求4所述的基于神經(jīng)主題模型的圖像集成分類方法，其中，通過隨機梯度下降法求解模型參數(shù)。

6.根據(jù)權利要求1所述的基于神經(jīng)主題模型的圖像集成分類方法，其中，所述步驟S4包括以下子步驟：

S41，輸入待分類圖像的SIFT特征向量特征和Deep-CNN特征；

S42，將數(shù)據(jù)輸入訓練后的圖像集成分類的神經(jīng)主題模型，通過比較多個分類規(guī)則結果，尋找最大的預測值來得到類標，公式如下：

其中，x_l表示第l個softmax的權重，p(y_l|v_CNN,v)表示第l個softmax輸出的概率；

S43，輸出經(jīng)分類后的圖像的類標。

7.一種基于神經(jīng)主題模型的圖像集成分類裝置，包括：

預處理模塊，用于對圖像進行預處理，提取圖像的詞袋特征v和深度卷積神經(jīng)網(wǎng)絡特征v_CNN，其中，所述圖像包括訓練集和測試集；

處理模塊，用于在神經(jīng)主題模型中引入所述深度卷積神經(jīng)網(wǎng)絡特征v_CNN，并結合集成分類方法softmax混合模型，構建圖像集成分類的神經(jīng)主題模型；

其中，將提取的SIFT詞袋特征v＝[v₁,v₂,...,v_D]和Deep-CNN特征v_CNN作為網(wǎng)絡的輸入層，詞袋特征v和類標y為網(wǎng)絡輸出層，結合集成分類方法softmax混合模型，將訓練集圖像和類標的聯(lián)合概率建模為：

其中，

x_l＞0，

p(y_l|v,v_CNN)＝softmax(d+U_lh(v_CNN,v))；

p(v_i＝t|v_CNN,v_＜i)使用前饋神經(jīng)網(wǎng)絡結構建模，

式中，v表示詞袋特征，y表示類標，L表示分類器的總數(shù)，x_l表示第l個Softmax的權重，y_l表示圖像在第l個分類器的預測值，D表示圖像的詞袋特征所包括的詞的個數(shù)，v_i表示圖像中的第i個詞v_＜i表示圖像中在第i個詞之前的詞，即第1個到i-1個詞；d、U表示參數(shù)，h()表示函數(shù)，v表示圖像中任意一個詞；g()表示sigmoid函數(shù)，c、T表示參數(shù)，表示參數(shù)矩陣；a表示softmax函數(shù)的輸入，j表示任意一類別，C表示j的最大值；b、V表示參數(shù)，t、t’表示字典中詞的序號；i、k表示圖像中詞的序號；

計算模塊，用于基于訓練集優(yōu)化所述圖像集成分類的神經(jīng)主題模型的目標函數(shù)求解模型參數(shù)；以及

分類模塊，用于利用優(yōu)化后的圖像集成分類的神經(jīng)主題模型對測試集圖像進行分類。