[發(fā)明專(zhuān)利]基于Mask-RCNN的牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910551729.0
• 申請(qǐng)日: 2019-06-25
• 公開(kāi)（公告）號(hào): CN110298291B
• 公開(kāi)（公告）日: 2022-09-23
• 發(fā)明（設(shè)計(jì)）人: 于海業(yè);武占東;張蕾;隋媛媛;孫志朋;任子圣
• 申請(qǐng)（專(zhuān)利權(quán)）人: 吉林大學(xué)
• 主分類(lèi)號(hào): G06V40/10
• 分類(lèi)號(hào): G06V40/10;G06V10/774;G06N3/04
• 代理公司: 長(zhǎng)春吉大專(zhuān)利代理有限責(zé)任公司 22201
• 代理人: 齊安全;胡景陽(yáng)

本發(fā)明公開(kāi)了基于Mask?RCNN的牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)方法，為填補(bǔ)牛臉及牛臉關(guān)鍵點(diǎn)同步檢測(cè)的空白，基于Mask?RCNN的牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)方法的步驟:1)采集帶有牛臉的圖片,標(biāo)記每張圖片中牛臉及牛臉關(guān)鍵點(diǎn)數(shù)據(jù)：(1)從國(guó)內(nèi)網(wǎng)絡(luò)中收集牛的圖片，從收集的圖片中選取有牛臉的圖片：a.從國(guó)內(nèi)的農(nóng)業(yè)節(jié)目中選取關(guān)于養(yǎng)牛的視頻，每隔5幀截取一幅圖片，從中選取有牛臉的圖片；b.使用攝像機(jī)實(shí)地采集牛只的視頻，每隔5幀截取一幅圖片，從中選取有牛臉的圖片；(2)標(biāo)注圖片中的每個(gè)牛臉的位置；2)設(shè)計(jì)牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)；3)利用標(biāo)記完成的數(shù)據(jù)訓(xùn)練牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)，最終生成牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)器。

技術(shù)領(lǐng)域

本發(fā)明涉及屬于數(shù)字圖像處理技術(shù)領(lǐng)域的一種檢測(cè)方法，更確切地說(shuō)，本發(fā)明涉及一種基于Mask-RCNN的牛臉及牛臉關(guān)鍵點(diǎn)檢測(cè)方法。

背景技術(shù)

動(dòng)物身份識(shí)別可以方便生產(chǎn)管理、控制疾病爆發(fā)以及確立所屬權(quán)，并且也滿(mǎn)足當(dāng)今消費(fèi)者追蹤溯源的需求以及進(jìn)出口貿(mào)易的要求。

現(xiàn)代動(dòng)物身份識(shí)別技術(shù)包括機(jī)械式的(如烙印、紋身等)、電子式的(如耳標(biāo)、RFID瘤胃陶瓷標(biāo)簽、可植入式ID芯片等)、生物特征式的(如鼻紋印、DNA圖譜、虹膜識(shí)別等)。機(jī)械式的、電子式的動(dòng)物身份識(shí)別方法都具有操作難、動(dòng)物福利低、造價(jià)高、丟失率高、重復(fù)利用率低等缺點(diǎn)。

牛臉識(shí)別技術(shù)是基于圖像中牛臉部特征的差異進(jìn)行區(qū)分的牛只身份識(shí)別方法。整個(gè)過(guò)程包括牛臉檢測(cè)、牛臉特征點(diǎn)檢測(cè)以及牛臉識(shí)別三個(gè)主要步驟。其中牛臉檢測(cè)是目標(biāo)檢測(cè)的一種特例，是框出圖像中的所有牛臉。牛臉特征點(diǎn)檢測(cè)是定位出牛臉的關(guān)鍵區(qū)域位置點(diǎn)，利用這些關(guān)鍵點(diǎn)使用仿射變換將牛臉統(tǒng)一“擺正”，盡量去消除牛臉識(shí)別中姿勢(shì)不同帶來(lái)的誤差。因此牛臉檢測(cè)和牛臉關(guān)鍵點(diǎn)檢測(cè)是牛臉識(shí)別的基礎(chǔ)。

從2011年深度學(xué)習(xí)在語(yǔ)音識(shí)別中大放異彩，到2012年AlexNet(一種圖片識(shí)別框架)在ImageNet(一個(gè)用于視覺(jué)對(duì)象識(shí)別軟件研究的大型可視化數(shù)據(jù)庫(kù))中脫穎而出。2015年FaceNet(一種人臉識(shí)別框架)在LFW數(shù)據(jù)集上的識(shí)別率達(dá)到99.63％，已經(jīng)超越人類(lèi)識(shí)別人臉的水平。目前基于深度學(xué)習(xí)方法的動(dòng)物身份識(shí)別研究較少，雖然有一些研究機(jī)構(gòu)已經(jīng)進(jìn)行相關(guān)探索，但仍沒(méi)有得到推廣與應(yīng)用。首先主要是基礎(chǔ)工作沒(méi)有做到位；任何生物特征識(shí)別的前提都是具有規(guī)定的數(shù)據(jù)庫(kù)，而大部分的研究人員都是自己擁有自己的數(shù)據(jù)庫(kù)，可以說(shuō)相互獨(dú)立。其次動(dòng)物的品種很多，研究人員都是選出某一個(gè)品種來(lái)進(jìn)行訓(xùn)練，導(dǎo)致每一個(gè)品種都要建數(shù)據(jù)庫(kù)，操作繁瑣。再次大部分研究人員應(yīng)用的數(shù)據(jù)都是自己獲取的，環(huán)境相同，噪聲相似，導(dǎo)致模型的泛化性不強(qiáng)。

在牛臉檢測(cè)方面，中國(guó)專(zhuān)利公告(布)號(hào)為CN108549860A，公告(布)日為2018年4月9日，發(fā)明名稱(chēng)為《一種基于深度神經(jīng)網(wǎng)絡(luò)的牛臉識(shí)別方法》的案子中只是提到使用通用的方法訓(xùn)練牛臉檢測(cè)器；并且該方法稍微有些畫(huà)蛇添足，是利用耳標(biāo)和牛臉結(jié)合的方法識(shí)別牛臉。中國(guó)專(zhuān)利公告(布)號(hào)為CN107292298A，公告(布)日為2017年8月9日，發(fā)明名稱(chēng)為《基于卷積神經(jīng)網(wǎng)絡(luò)和分類(lèi)器模型的牛臉識(shí)別方法》的案子中沒(méi)有提及牛臉檢測(cè)的問(wèn)題，只是通過(guò)調(diào)整攝像頭的視角，手動(dòng)選取圖像中只有一個(gè)牛臉的圖片形成訓(xùn)練集和測(cè)試集，可想而知，該方法的通用性不強(qiáng)。并且以上兩種方法都沒(méi)有提及牛臉關(guān)鍵點(diǎn)檢測(cè)問(wèn)題，導(dǎo)致牛臉識(shí)別的準(zhǔn)確率大幅度降低。

在牛臉關(guān)鍵點(diǎn)檢測(cè)方面，中國(guó)專(zhuān)利公告(布)號(hào)為CN109002769A，公告(布)日為2018年6月22日，發(fā)明名稱(chēng)為《一種基于深度神經(jīng)網(wǎng)絡(luò)的牛臉對(duì)齊方法及系統(tǒng)》的案子并且沒(méi)有給出關(guān)鍵點(diǎn)的數(shù)目；使用全局網(wǎng)絡(luò)由整張圖像定位所有關(guān)鍵點(diǎn)，利用歐氏距離損失函數(shù)進(jìn)行回歸，沒(méi)有挖掘多尺度信息進(jìn)行關(guān)鍵點(diǎn)的校正和調(diào)整，可以說(shuō)是一個(gè)單級(jí)的牛臉關(guān)鍵點(diǎn)檢測(cè)。

綜上所述，現(xiàn)有的牛臉識(shí)別技術(shù)存在的主要問(wèn)題有：

1.沒(méi)有牛臉檢測(cè)方法，只是利用目標(biāo)檢測(cè)的通用方法，這樣導(dǎo)致牛臉檢測(cè)的準(zhǔn)確率不高，專(zhuān)業(yè)性不強(qiáng)。

2.牛臉關(guān)鍵點(diǎn)的數(shù)量沒(méi)有分析，以及缺少較為準(zhǔn)確的牛臉關(guān)鍵點(diǎn)的檢測(cè)方法。