[發明專利]一種基于語義信息多層特征融合的細粒度鳥類識別方法

有效

• 申請號: 201910386030.3
• 申請日: 2019-05-09
• 公開（公告）號: CN111914599B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 何小海;李國瑞;吳曉紅;卿粼波;滕奇志;王正勇;吳小強
• 申請（專利權）人: 四川大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/77;G06V10/764;G06V10/774;G06V10/82;G06V40/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于語義信息多層特征融合的細粒度鳥類識別方法，其特征在于包括以下步驟：

(1)在輸入網絡前對圖像進行隨機裁剪，隨機水平翻轉，歸一化，得到448*448大小的輸入圖像數據，其中圖像歸一化時采用的均值和標準差分別為0.485、0.456、0.406和0.229、0.224、0.225；

(2)局部區域定位，從步驟(1)的全局圖像中，在沒有人工局部語義標注的情況下，自動定位出局部有效信息區域，并為每一個區域信息量含量打分，利用非極大值抑制Non-Maximum Suppression，NMS算法進行選擇，保留得分最高的前4個局部區域，NMS算法中的重疊面積閾值取0.3；

(3)特征提取，對傳統的ResNet-50網絡進行修改，設置全局均值池化層輸出參數為1，使其輸出特征圖譜大小為1*1*2048大小，最后調整成2048維向量；為防止過擬合現象的發生，在GAP層后增加一個dropout層，dropout radio設為0.5；并修改FC層輸出參數為200，使其最終輸出為200維向量， 將其作為基本特征提取網絡，提取步驟(1)得到的全局圖像特征和步驟(2)得到的局部區域圖像特征；

(4)特征融合，將步驟(3)得到的全局圖像特征和局部區域圖像特征進行跨層特征融合，使用了一種跨層特征融合網絡Cross-layer Feature Fusion Network，CFF-Net，首先利用CFF-Net網絡定位出前Top-n個局部信息區域，經特征提取網絡后，形成Top-n個局部特征圖譜層，再與全局特征圖譜分別進行點乘；若點乘操作得到的是特征圖譜層，則經全局均值池化層后得到融合后的特征向量；最后將得到的特征向量進行級聯，結合全局圖像與局部區域特征信息，接全連接層后進行分類，

CFF-Net特征融合過程可用如上公式表示。