[發(fā)明專利]基于Mask-RCNN的牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910551729.0
• 申請(qǐng)日: 2019-06-25
• 公開（公告）號(hào): CN110298291B
• 公開（公告）日: 2022-09-23
• 發(fā)明（設(shè)計(jì)）人: 于海業(yè);武占東;張蕾;隋媛媛;孫志朋;任子圣
• 申請(qǐng)（專利權(quán)）人: 吉林大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/774;G06N3/04
• 代理公司: 長(zhǎng)春吉大專利代理有限責(zé)任公司 22201
• 代理人: 齊安全;胡景陽

1.一種基于Mask-RCNN的牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述的基于Mask-RCNN的牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)方法的步驟如下：

1)采集帶有牛臉的圖片,標(biāo)記每張圖片中牛臉及牛臉關(guān)鍵點(diǎn)數(shù)據(jù):

(1)從國(guó)內(nèi)網(wǎng)絡(luò)中收集牛的圖片，從收集的圖片中選取有牛臉的圖片

a.從國(guó)內(nèi)的農(nóng)業(yè)節(jié)目中選取關(guān)于養(yǎng)牛的視頻，每隔5幀截取一幅圖片，從中選取有牛臉的圖片；

b.使用攝像機(jī)實(shí)地采集牛只的視頻，每隔5幀截取一幅圖片，從中選取有牛臉的圖片；

其中牛只的品種有中國(guó)黑白花牛、荷斯坦奶牛、娟珊牛、西門塔爾牛、西門塔爾雜交牛、紅牛、黑牛、黃牛與和牛多個(gè)品種；

(2)標(biāo)注圖片中的每個(gè)牛臉的位置

標(biāo)記牛正臉時(shí)的牛臉的6個(gè)關(guān)鍵點(diǎn)，分別為左眼、右眼、左鼻孔上緣、左鼻孔下緣、右鼻孔上緣、右鼻孔下緣；

2)設(shè)計(jì)牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu):

(1)牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)輸入層接收用于訓(xùn)練檢測(cè)網(wǎng)絡(luò)的圖片，即標(biāo)記牛臉位置及牛臉6個(gè)關(guān)鍵點(diǎn)的彩色RGB圖片，預(yù)處理將尺寸調(diào)整為1024*1024，經(jīng)過改進(jìn)的深度可分離卷積的VGGNet與FPN網(wǎng)絡(luò)耦合的網(wǎng)絡(luò)進(jìn)行不同尺度的特征提取；

(2)提取到的特征圖對(duì)每個(gè)點(diǎn)設(shè)定預(yù)定的ROI即感興趣區(qū)域,將獲得的多個(gè)ROI輸送到RPN網(wǎng)絡(luò)進(jìn)行候選區(qū)域篩選，將篩選出的候選區(qū)域映射回原圖尺度；

(3)利用RoIAlign層對(duì)每個(gè)候選出的ROI提取固定尺寸的特征圖；

(4)最后對(duì)固定尺寸的特征圖進(jìn)行牛臉邊框回歸、牛臉關(guān)鍵點(diǎn)回歸、目標(biāo)分類以及牛臉掩膜輸出；

3)利用標(biāo)記完成的數(shù)據(jù)訓(xùn)練牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)，最終生成牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)器。

2.按照權(quán)利要求1所述的基于Mask-RCNN的牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述的深度可分離卷積的VGGNet與FPN網(wǎng)絡(luò)耦合的網(wǎng)絡(luò)由兩大部分組成：

(1)一部分為深度可分離卷積的VGGNet網(wǎng)絡(luò)進(jìn)行特征提取下采樣，其結(jié)構(gòu)采用原有的VGGNet16網(wǎng)絡(luò)卷積基結(jié)構(gòu)；

改進(jìn)的VGGNet網(wǎng)絡(luò)中使用深度可分離卷積提取特征，共計(jì)進(jìn)行13次深度可分離卷積，卷積核的尺寸為3*3，通道數(shù)逐漸從64增加到512；池化都選用最大池化操做；進(jìn)行5次下采樣，下采樣的頻率2；

(2)另一部分為FPN網(wǎng)絡(luò)進(jìn)行特征提取上采樣

FPN網(wǎng)絡(luò)采用的最鄰近上采樣，采樣頻率為2。

3.按照權(quán)利要求1所述的基于Mask-RCNN的牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述的利用標(biāo)記完成的數(shù)據(jù)訓(xùn)練牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)，最終生成牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)器是指：

利用采集的數(shù)據(jù)訓(xùn)練牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)，以牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)的預(yù)測(cè)輸出與真實(shí)輸出的誤差收斂為目標(biāo)，即通過最小化RPN網(wǎng)絡(luò)中的損失L_R與牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)的總損失L，訓(xùn)練該網(wǎng)絡(luò)；

將數(shù)據(jù)分為兩類，其中一類為只標(biāo)記牛臉的數(shù)據(jù)集，另一類為即標(biāo)記牛臉也標(biāo)記牛臉關(guān)鍵點(diǎn)數(shù)據(jù)集；

1)先利用只標(biāo)記牛臉的數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)；

2)然后再利用即標(biāo)記牛臉也標(biāo)記牛臉關(guān)鍵點(diǎn)數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，如果只用正臉訓(xùn)練網(wǎng)絡(luò)，會(huì)導(dǎo)致網(wǎng)絡(luò)的泛化性不強(qiáng)；

所述的牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)的預(yù)測(cè)輸出與真實(shí)輸出的誤差分為四部分：

牛臉邊框回歸損失L_box：Smooth L1損失；

目標(biāo)分類損失L_class：Softmax交叉熵?fù)p失；

牛臉關(guān)鍵點(diǎn)回歸損失L_kpoint：均方誤差損失；

牛臉掩膜輸出損失L_mask：平均二值交叉熵?fù)p失；

總損失L＝L_box+L_class+L_kpoint+L_mask。