[發明專利]基于Mask-RCNN的牛臉及牛臉關鍵點檢測方法

有效

• 申請號: 201910551729.0
• 申請日: 2019-06-25
• 公開（公告）號: CN110298291B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 于海業;武占東;張蕾;隋媛媛;孫志朋;任子圣
• 申請（專利權）人: 吉林大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/774;G06N3/04
• 代理公司: 長春吉大專利代理有限責任公司 22201
• 代理人: 齊安全;胡景陽

1.一種基于Mask-RCNN的牛臉及牛臉關鍵點檢測方法，其特征在于，所述的基于Mask-RCNN的牛臉及牛臉關鍵點檢測方法的步驟如下：

1)采集帶有牛臉的圖片,標記每張圖片中牛臉及牛臉關鍵點數據:

(1)從國內網絡中收集牛的圖片，從收集的圖片中選取有牛臉的圖片

a.從國內的農業節目中選取關于養牛的視頻，每隔5幀截取一幅圖片，從中選取有牛臉的圖片；

b.使用攝像機實地采集牛只的視頻，每隔5幀截取一幅圖片，從中選取有牛臉的圖片；

其中牛只的品種有中國黑白花牛、荷斯坦奶牛、娟珊牛、西門塔爾牛、西門塔爾雜交牛、紅牛、黑牛、黃牛與和牛多個品種；

(2)標注圖片中的每個牛臉的位置

標記牛正臉時的牛臉的6個關鍵點，分別為左眼、右眼、左鼻孔上緣、左鼻孔下緣、右鼻孔上緣、右鼻孔下緣；

2)設計牛臉及牛臉關鍵點檢測網絡結構:

(1)牛臉及牛臉關鍵點檢測網絡輸入層接收用于訓練檢測網絡的圖片，即標記牛臉位置及牛臉6個關鍵點的彩色RGB圖片，預處理將尺寸調整為1024*1024，經過改進的深度可分離卷積的VGGNet與FPN網絡耦合的網絡進行不同尺度的特征提取；

(2)提取到的特征圖對每個點設定預定的ROI即感興趣區域,將獲得的多個ROI輸送到RPN網絡進行候選區域篩選，將篩選出的候選區域映射回原圖尺度；

(3)利用RoIAlign層對每個候選出的ROI提取固定尺寸的特征圖；

(4)最后對固定尺寸的特征圖進行牛臉邊框回歸、牛臉關鍵點回歸、目標分類以及牛臉掩膜輸出；

3)利用標記完成的數據訓練牛臉及牛臉關鍵點檢測網絡，最終生成牛臉及牛臉關鍵點檢測器。

2.按照權利要求1所述的基于Mask-RCNN的牛臉及牛臉關鍵點檢測方法，其特征在于，所述的深度可分離卷積的VGGNet與FPN網絡耦合的網絡由兩大部分組成：

(1)一部分為深度可分離卷積的VGGNet網絡進行特征提取下采樣，其結構采用原有的VGGNet16網絡卷積基結構；

改進的VGGNet網絡中使用深度可分離卷積提取特征，共計進行13次深度可分離卷積，卷積核的尺寸為3*3，通道數逐漸從64增加到512；池化都選用最大池化操做；進行5次下采樣，下采樣的頻率2；

(2)另一部分為FPN網絡進行特征提取上采樣

FPN網絡采用的最鄰近上采樣，采樣頻率為2。

3.按照權利要求1所述的基于Mask-RCNN的牛臉及牛臉關鍵點檢測方法，其特征在于，所述的利用標記完成的數據訓練牛臉及牛臉關鍵點檢測網絡，最終生成牛臉及牛臉關鍵點檢測器是指：

利用采集的數據訓練牛臉及牛臉關鍵點檢測網絡，以牛臉及牛臉關鍵點檢測網絡的預測輸出與真實輸出的誤差收斂為目標，即通過最小化RPN網絡中的損失L_R與牛臉及牛臉關鍵點檢測網絡的總損失L，訓練該網絡；

將數據分為兩類，其中一類為只標記牛臉的數據集，另一類為即標記牛臉也標記牛臉關鍵點數據集；

1)先利用只標記牛臉的數據集訓練網絡；

2)然后再利用即標記牛臉也標記牛臉關鍵點數據集訓練網絡，如果只用正臉訓練網絡，會導致網絡的泛化性不強；

所述的牛臉及牛臉關鍵點檢測網絡的預測輸出與真實輸出的誤差分為四部分：

牛臉邊框回歸損失L_box：Smooth L1損失；

目標分類損失L_class：Softmax交叉熵損失；

牛臉關鍵點回歸損失L_kpoint：均方誤差損失；

牛臉掩膜輸出損失L_mask：平均二值交叉熵損失；

總損失L＝L_box+L_class+L_kpoint+L_mask。