[發明專利]一種基于深度視頻的哺乳母豬姿態轉換識別方法

有效

• 申請號: 201910596270.6
• 申請日: 2019-07-03
• 公開（公告）號: CN110309786B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 薛月菊;楊曉帆;鄭嬋;陳暢新;李詩梅;甘海明
• 申請（專利權）人: 華南農業大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V40/20;G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 李冉

1.一種基于深度視頻的哺乳母豬姿態轉換識別方法，其特征在于，包括如下步驟：

S1、采集母豬的深度視頻，并建立母豬姿態轉換識別視頻庫；

S2、建立改進的3DMaskR-CNN母豬檢測、跟蹤及姿態識別模型；包括：

S21、選擇ResNet-18作為基礎網絡，通過Detectron框架進行模型訓練；

S22、在RoIAlign階段后，除了已有的3DClassificationHead之外，新添加一個頭部2DClassificationHead，其中3DClassificationHead用于檢測與跟蹤母豬，新增的2DClassificationHead用于識別母豬姿態；

S23、基礎網絡的參數采用center初始化；

S24、根據深度視頻中母豬的尺寸，設置錨點面積和長寬比；

S25、模型訓練分兩個階段：第一階段設置Trackcls輸出類別數為2，包括母豬和背景，對基礎網絡、TPN、3DClassificationHead三個參數進行微調，2DClassificationHead部分參數固定不變；第二階段剔除了改進的3DMask?R-CNN訓練集和驗證集中母豬發生姿態轉換的片段，設置Posecls輸出類別數為5，包括背景、站立、坐立、趴臥和側臥，僅對2DClassificationHead參數進行微調，其余部分參數固定不變；其中，對參數進行微調的方法采用隨機梯度下降法和反向傳播算法；

S3、用改進的3DMaskR-CNN對深度視頻中的母豬進行檢測、跟蹤并識別母豬姿態；選取每幀中概率最大的姿態類別，形成母豬姿態序列，用姿態類別波動頻次粗定位母豬姿態序列中的疑似轉換片段，根據前后幀各類姿態的概率方差細定位疑似轉換片段的起始幀和結束幀；包括：

S31、用改進的3DMaskR-CNN對深度視頻中的母豬進行檢測與跟蹤并識別母豬姿態，輸出每幀母豬的檢測框及4類姿態概率，其中檢測框由3DClassificationHead的reg層輸出，4類姿態概率由2DClassificationHead的pose?cls層輸出；

S32、選取每幀中概率最大的姿態類別，形成母豬姿態序列，采用中值濾波對姿態序列進行修正；采用滑動窗口的方式計算每個窗口內姿態序列的變化次數，根據姿態類別的變化頻率粗定位疑似轉換片段，選取變化次數大于或等于3的片段作為疑似轉換片段，其余片段作為單一姿態片段；

S33、細定位疑似轉換片段的起始幀和結束幀，根據公式(1)計算疑似轉換片段內每一幀與前后兩幀的概率方差，

其中，P_t表示第t幀4類姿態的概率，P_t+i表示第t+i幀4類姿態的概率；sum(x)表示對矩陣x所有元素相加求和；設t_first為疑似轉換片段內首次概率方差V_t大于0.1的視頻幀，t_last為疑似轉換片段內最后一次概率方差V_t大于0.1的視頻幀；在t_first、t_last的基礎上再向外擴張N幀，用于獲取轉換前后的上下文信息，則細定位后的疑似轉換片段起始幀和結束幀分別為t_first-N和t_last+N，形成疑似轉換片段；

S4、在疑似轉換片段中，設計三階段上下文深度運動特征圖3C-DMM，以提取疑似轉換片段的運動特征；包括：

S41、在疑似轉換片段中，用改進的3DMaskR-CNN輸出結果提取母豬檢測與跟蹤的外接矩形框；

S42、設計3C-DMM特征圖，提取疑似轉換片段外接矩形框內的運動特征，具體過程如下：

S421、初始化三張特征圖，用于存儲疑似轉換片段3C-DMM特征，特征圖大小與外接矩形框相同，特征圖中所有元素均初始化為0：

S422、根據公式(2)-(7)，計算疑似轉換片段外接矩形框內的3C-DMM特征，

其中，T為疑似轉換片段長度，I_t為疑似轉換片段中第t幀外接矩形內的灰度，t表示第t幀，公式(2)-(4)為3C-DMM特征的計算公式，公式(5)-(7)為系數W_r(t)、W_g(t)、W_b(t)的計算公式；

S5、將提取到的3C-DMM特征輸入CNN姿態轉換識別模型進行轉換片段/非轉換片段識別，獲得識別結果。