[發(fā)明專利]一種基于CNN特征融合框架的花卉識別方法

在審

• 申請?zhí)枺?/td>: 201910548293.X
• 申請日: 2019-06-24
• 公開（公告）號: CN110363101A
• 公開（公告）日: 2019-10-22
• 發(fā)明（設(shè)計）人: 顏成鋼;陳鑫哲;黃步真;胡友鵬;孫垚棋;張勇東
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于CNN特征融合框架的花卉識別方法，該方法將圖片的多種有效特征與識別圖片性能較好的CNN進行結(jié)合，訓(xùn)練出基于每種特征的識別模型，其特征在于包括如下步驟：

步驟1：圖像預(yù)處理與特征提取；

步驟2：基于每種特征的CNN模型訓(xùn)練

步驟3：基于結(jié)果訓(xùn)練融合框架，獲得花卉融合識別框架；

所述的步驟1具體實現(xiàn)如下：

1-1.背景分割：首先對訓(xùn)練樣本圖像進行背景分割；

1-2.HSV特征提取：

將訓(xùn)練樣本圖像從原始RGB圖像轉(zhuǎn)換為HSV色彩空間并同時移除V空間；轉(zhuǎn)換公式如下：

其中，R，G，B為每個像素對應(yīng)的值；

再將處理后的圖像劃分為指定數(shù)量的的顏色小區(qū)間，每個小區(qū)間成為直方圖的一個bin，即對圖像進行量化，然后通過計算顏色每個小區(qū)間內(nèi)的像素數(shù)量得到HSV顏色直方圖，即為HSV的顏色特征；

1-3.紋理特征提取：

采用二維離散小波變換并用DWT來提取圖像紋理特征，二維離散小波變換公式如下：

其中，f(x，y)是原始圖像的信息，這里指飽和度(S)；是一個小波函數(shù)，定義如下：

當處理圖像時，對圖像進行小波變換，將圖像轉(zhuǎn)化為四個子圖像：低分辨率子圖像A、水平方向子圖像H、垂直方向子圖像V和對角線方向子圖像D；其中低分辨率子圖像A將信號的主要成分集中，其余水平方向子圖像H、垂直方向子圖像V和對角線方向子圖像D是信號的高頻信息，即細節(jié)信息；使用小波變換的三個高頻帶輸出的總和作為紋理特征：

T＝W_H+W_V+W_D

1-4.HOG特征提取：

首先將圖像轉(zhuǎn)化為灰度圖像，再進行Gamma歸一化處理，并將圖像劃分為多個blocks并在每個block內(nèi)劃分多個cells，再采用像Sobel和Laplacian的梯度運算符來卷積每個cell以獲得梯度方向和幅度；具體公式如下：

其中，I_x和I_y代表水平和垂直方向上的梯度值，M(x，y)代表梯度的幅度值，θ(x，y)代表梯度的方向；

1-5.SIFT特征提取：

尺度空間的極值檢測：將圖像的多尺度使用圖像金字塔表示出來；這其中，要先對圖像進行平滑處理，然后對處理后的圖像進行降采樣；這其中需要高斯卷積核構(gòu)建尺度空間，二維圖像的尺度空間定義如下：

L(x，y，σ)＝G(x，y，σ)×I(x，y)

其中，G(x，y，σ)是尺度可變高斯函數(shù)，I(x，y)是空間坐標，σ稱為尺度空間因子；

然后由原圖開始對得到的相鄰的高斯空間的圖像進行運算往上構(gòu)建圖像金字塔，原圖為最底層，其后往上每一層是對其下一層進行Laplacian變換構(gòu)建高斯金字塔；再將相鄰的高斯金字塔相減就得到了DoG金字塔；

檢測DOG尺度空間極值點：將每一個采樣點和它同尺度的8個相鄰點和上下相鄰尺度對應(yīng)的9×2個點共26個點相比較，以此來確保在尺度空間和二維圖像空間都檢測到極值點，重復(fù)此步驟檢測到所有的極值點；

求取特征點的主方向：利用特征點鄰域像素的梯度分布特性來確定其方向參數(shù)，再利用圖像的梯度直方圖求取關(guān)鍵點局部結(jié)構(gòu)的穩(wěn)定方向；以特征點的為中心、以3×1.5σ為半徑的領(lǐng)域內(nèi)計算各個像素點的梯度的幅角和幅值，然后使用直方圖對梯度的幅角進行統(tǒng)計；直方圖的橫軸是梯度的方向，縱軸為梯度方向?qū)?yīng)梯度幅值的累加值，直方圖中最高峰所對應(yīng)的方向即為特征點的方向；得到特征點的主方向后，對于每個特征點可以得到三個信息(x，y，σ，θ)，即位置、尺度和方向，由此可以確定一個SIFT特征區(qū)域；

生成特征描述：首先將坐標軸旋轉(zhuǎn)為特征點的方向，以特征點為中心的16×16的窗口的像素的梯度幅值和方向，將窗口內(nèi)的像素分成16塊，每塊是其像素內(nèi)8個方向的直方圖統(tǒng)計，共可形成128維的特征向量，即為SIFT特征；

1-6深度特征提取：提取深度特征首先需要構(gòu)建兩個分別基于CNN的神經(jīng)網(wǎng)絡(luò)：全局粗尺度網(wǎng)絡(luò)和局部細尺寸網(wǎng)絡(luò)；

首先將圖片同時輸入全局粗尺度網(wǎng)絡(luò)與局部細尺寸網(wǎng)絡(luò)，再將全局粗尺度網(wǎng)絡(luò)的輸出添加到局部細尺寸網(wǎng)絡(luò)的第二層作為參數(shù)之一，經(jīng)過局部細尺寸網(wǎng)絡(luò)后，可以輸出深度特征。