[發明專利]一種基于編解碼網絡的生豬骨架提取方法及評價方法

在審

• 申請號: 202111058392.3
• 申請日: 2021-09-09
• 公開（公告）號: CN113780166A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 徐愛俊;王澤華;周素茵;葉俊華
• 申請（專利權）人: 浙江農林大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 杭州創造力專利代理事務所(普通合伙) 33332
• 代理人: 冉國政

1.一種基于編解碼網絡的生豬骨架提取方法，其特征在于：包括以下步驟，

采集生豬各類姿態數據并構建原始數據集；

所述原始數據集進行數據集增廣后，區分為訓練集和測試集；

建立骨架模型并對骨架上的關鍵點進行人工標注；

基于ResNet50殘差網絡和U-Net語義分割網絡的相結合搭建編解碼網絡結構，并同時引入注意力機制的門控模塊增強特征提取結果；

將增強的所述特征提取結果依次經過關鍵點分類、高斯濾波后生成包含位置信息的關鍵點熱力圖H；

生成所述關鍵點熱力圖H的同時預測關鍵點偏移量，并利用霍夫投票機制將關鍵點偏移特征矩陣和輸出的所述關鍵點熱力圖H聚合，得到精確定位的關鍵點位置后重新映射到原圖，把關鍵點相連后提取出生豬骨架。

2.根據權利要求1所述的基于編解碼網絡的生豬骨架提取方法，其特征在于：所述骨架模型包括以下建立步驟，

依據解剖學上豬關節的定義建立豬的骨架模型；

將所述骨架模型分為上半身區域和下半身區域，共14個關鍵點，上半身區域定義6個點，分別包括頭部區域的頭、鼻和主體區域的尾巴、髖部、脊背中心點以及肩膀，下半身區域分為8個點，分別代表了四肢的肘、蹄關節；

定義骨架關鍵點之間的連接關系。

3.根據權利要求1或2所述的基于編解碼網絡的生豬骨架提取方法，其特征在于：所述編解碼網絡結構包括編碼單元和解碼單元；

所述編碼單元保留ResNet50的特征提取主體，去除分類的平均池化層和全連接層；

所述解碼單元定義三個解碼塊，每個所述解碼塊接受融合特征矩陣Merge，進行步長為1、3*3的卷積操作降維后，得到特征矩陣FC，再經過sigmoid激活函數得到尺寸為原圖的1/4，通道數為k的關鍵點分類特征圖Y。

4.根據權利要求3所述的基于編解碼網絡的生豬骨架提取方法，其特征在于：引入所述注意力機制包括以下步驟，

結合注意力機制的門控模塊，將注意力作用在用作特征融合的跳躍連接上；

通過深層次特征對淺層次特征的指導，對淺層次特征的不同區域進行權重再分配，賦予關鍵點特征高權重，背景特征低權重。

5.根據權利要求4所述的基于編解碼網絡的生豬骨架提取方法，其特征在于：所述關鍵點熱力圖H包括以下生成步驟，

所述關鍵點分類特征圖Y和所述關鍵點熱力圖H的通道數、尺寸保持一致；

利用所述關鍵點熱力圖H的圖上每個像素位置的置信度表示對關鍵點的響應程度，所述置信度越高，對關鍵點的響應越大；

確定熱力圖上不同關鍵點位置，遍歷查找所述關鍵點分類特征圖Y對應通道上峰值點(Y_max(k))，如下式(1)：

Y_mal(k)＝Max(P_k(Y_i,j)) (1)

式(1)中k＝1，2，..14為關鍵點序號，P_k表示置信度，Y_i,j表示所述關鍵點分類特征圖Y上的某個像素點；

在熱力圖上生成以峰值點為中心，半徑為R像素的圓形區域S_k，將每個圓形區域中心點H_center的置信度設置為1，通過高斯濾波對生成的圓形區域進行平滑，實現區域到中心的逐步衰減，得到含有K個圓形區域的所述關鍵點熱力圖H，如下式(2)和(3)：

S_k(H_i，j)＝{||H_i，j-Y_max(k)||≤R，，R＝4} (2)

式(2)中H_i,j表示熱力圖上的某個像素點，式(3)中F表示高斯濾波函數，sigma設置為4，除S_k區域外其他位置為0。