[發(fā)明專利]一種基于語義信息多層特征融合的細粒度鳥類識別方法

有效

• 申請?zhí)枺?/td>: 201910386030.3
• 申請日: 2019-05-09
• 公開（公告）號: CN111914599B
• 公開（公告）日: 2022-09-02
• 發(fā)明（設(shè)計）人: 何小海;李國瑞;吳曉紅;卿粼波;滕奇志;王正勇;吳小強
• 申請（專利權(quán)）人: 四川大學(xué)
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/77;G06V10/764;G06V10/774;G06V10/82;G06V40/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于語義信息多層特征融合的細粒度鳥類識別方法。該方法由區(qū)域定位網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)和一種跨層特征融合網(wǎng)絡(luò)(Cross?layer Feature Fusion Network，CFF?Net)組成。首先，區(qū)域定位網(wǎng)絡(luò)在沒有局部語義標注的情況下，自動定位出局部有效信息區(qū)域；然后，特征提取網(wǎng)絡(luò)提取局部區(qū)域圖像特征和全局圖像特征；最后，CFF?Net對多個局部和全局的向量進行融合，提高最終分類性能。結(jié)果表明，本方法在Caltech?UCSD Birds200?2011(CUB200?2011)鳥類公共數(shù)據(jù)集上，分類準確率高于目前主流的細粒度鳥類識別方法，表現(xiàn)出優(yōu)異的分類性能。

技術(shù)領(lǐng)域

本發(fā)明設(shè)計一種基于語義信息多層特征融合的細粒度鳥類識別方法。涉及計算機視覺，深度學(xué)習(xí)領(lǐng)域。

背景技術(shù)

細粒度圖像識別已成為目前計算機視覺領(lǐng)域的重要研究方向，其目的是對屬于同一基礎(chǔ)類別的圖像(如鳥，魚，汽車等)進行更加細致的從屬類別劃分。由于從屬類別內(nèi)部之間差別細微，細粒度圖像識別任務(wù)相較于傳統(tǒng)通用圖像識別任務(wù)難度更高。近年來，隨著我國生態(tài)保護事業(yè)的蓬勃發(fā)展，物種監(jiān)控圖像視頻劇增，生物種類識別的需求也劇增。細粒度鳥類種類識別成為其中重要的任務(wù)之一，其識別結(jié)果可以幫助生物學(xué)家有效監(jiān)控鳥類種群分布及生態(tài)環(huán)境的變遷。

目前，針對細粒度圖像識別任務(wù)，大多數(shù)研究都以卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneural networks,CNN)為基礎(chǔ)，主要分為兩大類。基于強監(jiān)督學(xué)習(xí)的細粒度圖像識別任務(wù)，在模型訓(xùn)練時，為了獲得更好的分類精度，除了使用圖像的類別標注外，還使用了目標標注框和局部部位標注點等局部語義標注信息。主要方法包括Part-based R-CNNs、Mask-CNN等，相較于傳統(tǒng)CNN方法，檢測精度明顯提高，模型泛化性能也明顯提升。基于強監(jiān)督學(xué)習(xí)的分類模型雖然取得了較為滿意的分類精度，但由于標注信息代價昂貴，且不能保證局部語義標注是模型所需的有效信息，在一定程度上局限了算法的實際應(yīng)用。因此，目前大多數(shù)研究基于弱監(jiān)督學(xué)習(xí)的思想。其難點在于，模型訓(xùn)練時僅使用圖像類別標注，不再使用局部語義標注，也能準確定位到局部關(guān)鍵區(qū)域，取得與基于強監(jiān)督學(xué)習(xí)模型可比的分類精度。主要方法包括雙線性模型(Bilinear-CNN)、HBP模型、NTS-Net等。但上述方法對局部圖像和全局圖像特征提取后，將特征向量簡單進行級聯(lián)后接全連接層進行分類，不能充分利用局部區(qū)域特征所表達信息，一定程度上局限了算法的實際應(yīng)用。

發(fā)明內(nèi)容

本發(fā)明旨在為解決上述問題而提供一種基于語義信息多層特征融合的細粒度鳥類識別方法。

本發(fā)明通過以下技術(shù)方案來實現(xiàn)上述目的：

一種基于語義信息多層特征融合的細粒度鳥類識別方法，包括以下步驟：

(1)在輸入網(wǎng)絡(luò)前對圖像進行隨機裁剪，隨機水平翻轉(zhuǎn)，歸一化，得到448*448大小的輸入圖像數(shù)據(jù)；

(2)局部區(qū)域定位，從步驟(1)的全局圖像中，定位出具有有效信息的關(guān)鍵局部區(qū)域，并為每一個區(qū)域信息量含量打分，經(jīng)過非極大值抑制(Non-Maximum Suppression，NMS)方法選擇后，保留得分最高的前Top-n個局部區(qū)域；

(3)特征提取，將ResNet-50作為基本特征提取網(wǎng)絡(luò)，提取步驟(1)得到的全局圖像特征和步驟(2)得到的局部區(qū)域圖像特征；

(4)特征融合，將步驟(3)得到的全局圖像特征和局部區(qū)域圖像特征進行跨層特征融合，對融合后的特征圖譜采用全局均值池化進行降維，將降維后的特征向量進行級聯(lián)，接全連接層后進行分類。

附圖說明

圖1基于語義信息多層特征融合的細粒度鳥類識別方法模型圖

圖2區(qū)域定位網(wǎng)絡(luò)核心原理圖

圖3跨層特征融合網(wǎng)絡(luò)模型圖

具體實施方式