[發(fā)明專利]一種基于編解碼網絡的生豬骨架提取方法及評價方法

在審

• 申請?zhí)枺?/td>: 202111058392.3
• 申請日: 2021-09-09
• 公開（公告）號: CN113780166A
• 公開（公告）日: 2021-12-10
• 發(fā)明（設計）人: 徐愛俊;王澤華;周素茵;葉俊華
• 申請（專利權）人: 浙江農林大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 杭州創(chuàng)造力專利代理事務所(普通合伙) 33332
• 代理人: 冉國政

本發(fā)明公開了一種基于編解碼網絡的生豬骨架提取方法及評價方法，包括以下步驟，基于ResNet50殘差網絡和U?Net語義分割網絡的相結合搭建編解碼網絡結構，并同時引入注意力機制的門控模塊增強特征提取結果，生成包含位置信息的關鍵點熱力圖H；生成所述關鍵點熱力圖H的同時預測關鍵點偏移量，并利用霍夫投票機制將關鍵點偏移特征矩陣和輸出的所述關鍵點熱力圖H聚合，得到精確定位的關鍵點位置后重新映射到原圖，把關鍵點相連后提取出生豬骨架。本發(fā)明的有益效果：能夠在光照條件不穩(wěn)定、生豬運動劇烈的情況下實時的提取出生豬骨架，對于輸入分辨率大小為1280x720的視頻，平均均方根誤差為23.43像素，骨架提取準確率為85.27％。

技術領域

本發(fā)明涉及動物骨架提取的技術領域，尤其涉及一種基于編解碼網絡的生豬骨架提取方法及基于編解碼網絡提取生豬骨架評價方法。

背景技術

骨架信息能夠準確反應出生豬姿態(tài)及運動過程中豬體各部位的變化，可為生豬運動跟蹤、步態(tài)識別、行為檢測提供重要參考；因此在復雜的實際豬舍環(huán)境下進行生豬骨架的自動識別和提取，對提高養(yǎng)殖場經濟效益和豬福利都有著深遠的意義。

現(xiàn)有動物骨架的提取主要采用模型法和形態(tài)學法，近年來深度學習技術在骨架提取和關鍵點檢測領域大放異彩，特別是在人體的姿態(tài)估計和骨架提取方面已經頗有建樹，基于深度學習提取人體或動物骨架的研究較多，也取得了不錯的效果，但與生豬骨架提取相關的研究卻鮮有報道。實際豬舍環(huán)境光照條件差，圖像中豬體與背景不易區(qū)分，這些問題導致生豬骨架提取難度較大。

發(fā)明內容

本部分的目的在于概述本發(fā)明的實施例的一些方面以及簡要介紹一些較佳實施例。在本部分以及本申請的說明書摘要和發(fā)明名稱中可能會做些簡化或省略以避免使本部分、說明書摘要和發(fā)明名稱的目的模糊，而這種簡化或省略不能用于限制本發(fā)明的范圍。

鑒于上述現(xiàn)有存在的問題，提出了本發(fā)明。

因此，本發(fā)明解決的技術問題是：提出一種基于編解碼網絡的生豬骨架提取方法，能夠在實際的豬舍場景下準確、快速的提取出生豬骨架，為后續(xù)生豬的姿態(tài)識別和行為分析奠定基礎。

為解決上述技術問題，本發(fā)明提供如下技術方案：一種基于編解碼網絡的生豬骨架提取方法，包括以下步驟，采集生豬各類姿態(tài)數(shù)據(jù)并構建原始數(shù)據(jù)集；所述原始數(shù)據(jù)集進行數(shù)據(jù)集增廣后，區(qū)分為訓練集和測試集；建立骨架模型并對骨架上的關鍵點進行人工標注；基于ResNet50殘差網絡和U-Net語義分割網絡的相結合搭建編解碼網絡結構，并同時引入注意力機制的門控模塊增強特征提取結果；將增強的所述特征提取結果依次經過關鍵點分類、高斯濾波后生成包含位置信息的關鍵點熱力圖H；生成所述關鍵點熱力圖H的同時預測關鍵點偏移量，并利用霍夫投票機制將關鍵點偏移特征矩陣和輸出的所述關鍵點熱力圖H聚合，得到精確定位的關鍵點位置后重新映射到原圖，把關鍵點相連后提取出生豬骨架。

優(yōu)選的，所述骨架模型包括以下建立步驟，依據(jù)解剖學上豬關節(jié)的定義建立豬的骨架模型；將所述骨架模型分為上半身區(qū)域和下半身區(qū)域，共14個關鍵點，上半身區(qū)域定義6個點，分別包括頭部區(qū)域的頭、鼻和主體區(qū)域的尾巴、髖部、脊背中心點以及肩膀，下半身區(qū)域分為8個點，分別代表了四肢的肘、蹄關節(jié)；定義骨架關鍵點之間的連接關系。

優(yōu)選的，所述編解碼網絡結構包括編碼單元和解碼單元；所述編碼單元保留ResNet50的特征提取主體，去除分類的平均池化層和全連接層；所述解碼單元定義三個解碼塊，每個所述解碼塊接受融合特征矩陣Merge，進行步長為1、3*3的卷積操作降維后，得到特征矩陣FC，再經過sigmoid激活函數(shù)得到尺寸為原圖的1/4，通道數(shù)為k的關鍵點分類特征圖Y。

優(yōu)選的，引入所述注意力機制包括以下步驟，結合注意力機制的門控模塊，將注意力作用在用作特征融合的跳躍連接上；通過深層次特征對淺層次特征的指導，對淺層次特征的不同區(qū)域進行權重再分配，賦予關鍵點特征高權重，背景特征低權重。