[發(fā)明專利]一種大型養(yǎng)殖場(chǎng)體征異常禽類(lèi)檢測(cè)系統(tǒng)及檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910506337.2
• 申請(qǐng)日: 2019-06-12
• 公開(kāi)（公告）號(hào): CN110200598B
• 公開(kāi)（公告）日: 2020-06-30
• 發(fā)明（設(shè)計(jì)）人: 鄭吉星;胡清華;馬銳
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類(lèi)號(hào): A61B5/01
• 分類(lèi)號(hào): A61B5/01;A61B5/00;A01K45/00;G01J5/00;G06N3/04;G06N3/08
• 代理公司: 北京東方盛凡知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11562
• 代理人: 張雪

1.一種大型養(yǎng)殖場(chǎng)體征異常禽類(lèi)檢測(cè)方法，其特征在于，它使用包括輪式機(jī)器人、熱成像儀、工控機(jī)、圖像處理與識(shí)別軟件的大型養(yǎng)殖場(chǎng)體征異常禽類(lèi)檢測(cè)系統(tǒng)，

其中，所述輪式機(jī)器人用于搭載熱成像儀和工控機(jī)；

所述熱成像儀用于拍攝大型養(yǎng)殖場(chǎng)的禽類(lèi)形成熱成像圖像；

所述工控機(jī)用于對(duì)拍攝得到的熱成像圖形進(jìn)行處理，并完成目標(biāo)檢測(cè)，其中包括圖像處理與識(shí)別軟件，圖像處理與識(shí)別軟件中包括事先訓(xùn)練好的檢測(cè)模型；

搭載熱像儀和工控機(jī)的輪式機(jī)器人在養(yǎng)殖場(chǎng)內(nèi)做固定軌跡巡航，熱成像儀將拍攝得到的數(shù)據(jù)傳送給工控機(jī)，工控機(jī)對(duì)傳輸過(guò)來(lái)的數(shù)據(jù)進(jìn)行處理，通過(guò)圖像處理與識(shí)別軟件及其中的檢測(cè)模型來(lái)檢測(cè)目標(biāo)，最后輸出檢測(cè)結(jié)果；

所述大型養(yǎng)殖場(chǎng)體征異常禽類(lèi)檢測(cè)方法包括以下步驟：

S1、數(shù)據(jù)采集預(yù)處理：使用熱成像儀采集養(yǎng)殖場(chǎng)異常禽類(lèi)數(shù)據(jù)集，在采集得到的數(shù)據(jù)集中剔除噪聲污染嚴(yán)重的圖像，對(duì)剩余的圖像進(jìn)行人工標(biāo)注；然后根據(jù)熱成像圖像顯示溫度，將數(shù)據(jù)集中的目標(biāo)分為兩類(lèi)，一類(lèi)是體征異常類(lèi)，另一類(lèi)是死禽類(lèi)；

S2、采用深度殘差網(wǎng)絡(luò)和全卷積神經(jīng)網(wǎng)絡(luò)提取熱成像圖像的特征，獲得經(jīng)其中4種卷積殘差模塊處理的4條通道數(shù)據(jù)，并通過(guò)區(qū)域推薦網(wǎng)絡(luò)產(chǎn)生候選對(duì)象邊框；

S3、將經(jīng)區(qū)域推薦網(wǎng)絡(luò)處理后的特征圖進(jìn)行池化和像素對(duì)齊操作，然后將感興趣區(qū)域進(jìn)行融合處理，然后分三個(gè)通道分別輸出分類(lèi)信息，邊界框回歸信息，掩碼信息，采用多任務(wù)損失函數(shù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)；

S4、利用訓(xùn)練好的模型對(duì)未參加訓(xùn)練的圖片進(jìn)行檢測(cè)，形成檢測(cè)集，并顯示出檢測(cè)效果。

2.如權(quán)利要求1所述的大型養(yǎng)殖場(chǎng)體征異常禽類(lèi)檢測(cè)方法，其特征在于，所述步驟S1中還包括對(duì)采集到的養(yǎng)殖場(chǎng)異常禽類(lèi)數(shù)據(jù)集在目標(biāo)分類(lèi)之前進(jìn)行擴(kuò)充操作，所述擴(kuò)充操作包括對(duì)圖像進(jìn)行翻轉(zhuǎn)，旋轉(zhuǎn)，隨機(jī)裁剪，鏡像處理，以使數(shù)據(jù)集數(shù)量滿足訓(xùn)練網(wǎng)絡(luò)模型的需要。

3.如權(quán)利要求1所述的大型養(yǎng)殖場(chǎng)體征異常禽類(lèi)檢測(cè)方法，其特征在于，所述步驟S1中的檢測(cè)目標(biāo)分類(lèi)是根據(jù)熱成像圖像中顯示的溫度進(jìn)行：將體溫在30℃以下的目標(biāo)歸于死禽類(lèi)并進(jìn)行人工標(biāo)注；將30℃到35℃的目標(biāo)歸于體征異常類(lèi)并進(jìn)行人工標(biāo)注。

4.如權(quán)利要求1或3所述的大型養(yǎng)殖場(chǎng)體征異常禽類(lèi)檢測(cè)方法，其特征在于，所述步驟S1中的人工標(biāo)注采用labelme軟件；在進(jìn)行目標(biāo)分類(lèi)標(biāo)注時(shí)，采用多邊形標(biāo)注框?qū)λ狼蓊?lèi)和體征異常類(lèi)目標(biāo)的位置進(jìn)行勾勒；標(biāo)注的相關(guān)信息自動(dòng)保存為Json格式文件，并將Json格式文件轉(zhuǎn)化為訓(xùn)練使用的數(shù)據(jù)集格式。

5.如權(quán)利要求1所述的大型養(yǎng)殖場(chǎng)體征異常禽類(lèi)檢測(cè)方法，其特征在于，所述步驟S2中深度殘差網(wǎng)絡(luò)的主干網(wǎng)絡(luò)依次包括輸入層、1個(gè)獨(dú)立卷積層、1個(gè)最大池化層和4種卷積殘差模塊，并對(duì)經(jīng)4種卷積模塊處理后的卷積層運(yùn)用全卷積神經(jīng)網(wǎng)絡(luò)，即把高層次中低分辨率的特征圖融合到低層次中高分辨率的特征圖中，以使其具有更強(qiáng)的語(yǔ)義。

6.如權(quán)利要求1所述的大型養(yǎng)殖場(chǎng)體征異常禽類(lèi)檢測(cè)方法，其特征在于，所述步驟S2中通過(guò)區(qū)域推薦網(wǎng)絡(luò)產(chǎn)生候選對(duì)象邊框的具體方法為：將經(jīng)四種卷積模塊操作處理得到的4種不同的特征圖分別輸入到區(qū)域推薦網(wǎng)絡(luò)中，區(qū)域推薦網(wǎng)絡(luò)將特征圖的每一個(gè)像素設(shè)置多種不同尺寸和長(zhǎng)寬比的檢測(cè)框，即錨盒；然后為每一個(gè)錨盒分配一個(gè)二進(jìn)制標(biāo)簽，用于區(qū)別前景和背景；同時(shí)對(duì)預(yù)測(cè)出的邊界框進(jìn)行回歸操作，使得原始的錨盒經(jīng)過(guò)映射得到與真實(shí)的標(biāo)注框更加接近的回歸窗口。

7.如權(quán)利要求6所述的大型養(yǎng)殖場(chǎng)體征異常禽類(lèi)檢測(cè)方法，其特征在于，所述步驟S2中還采用非極大值抑制算法，將網(wǎng)絡(luò)提出的建議進(jìn)行排序，丟棄那些交并比值大于某個(gè)預(yù)定義閾值的建議，以處理經(jīng)過(guò)篩選后的前景中存在很多重疊錨盒的問(wèn)題。

8.如權(quán)利要求1或7所述的大型養(yǎng)殖場(chǎng)體征異常禽類(lèi)檢測(cè)方法，其特征在于，所述步驟S3中進(jìn)行感興趣區(qū)域融合后，從以下3個(gè)網(wǎng)絡(luò)通道中輸出信息：1)全連接預(yù)測(cè)類(lèi)別；2)全連接預(yù)測(cè)矩形框；3)全卷積預(yù)測(cè)像素分隔。

9.如權(quán)利要求1所述的大型養(yǎng)殖場(chǎng)體征異常禽類(lèi)檢測(cè)方法，其特征在于，所述步驟S4中采取降低模型在每張圖片中的檢測(cè)目標(biāo)數(shù)的參數(shù)配置，使每張圖片僅允許檢測(cè)出一個(gè)目標(biāo)。