[發明專利]基于孿生網絡的籠養動物行為分析方法、系統、裝置

有效

• 申請號: 202010414134.3
• 申請日: 2020-05-15
• 公開（公告）號: CN111582214B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 陳曦;翟昊;沈麗君;謝啟偉;韓華
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/82;G06V10/762;G06N3/0464
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于孿生網絡的籠養動物行為分析方法，其特征在于，該方法包括：

步驟S100，基于待分析目標的視頻數據，以t-1幀的目標位置的中心點為中點，在第t幀圖像中獲取N倍于第一尺寸大小的區域，將其作為搜索區域；所述第一尺寸為預設的待分析目標尺寸；

步驟S200，通過孿生子網絡分別提取所述搜索區域、第一區域、第二區域的特征，作為第一特征、第二特征、第三特征；所述第一區域為預設的待分析目標的目標區域；所述第二區域為預設的待分析目標的背景區域經過預處理后的區域；

步驟S300，基于所述第一特征、所述第二特征、所述第三特征，分別通過區域生成網絡、蒙版子網絡獲取所述待分析目標對應的檢測區域、mask；所述蒙版子網絡基于SiamMask網絡、語義分割網絡構建；

基于所述第一特征、所述第二特征、所述第三特征，通過區域生成網絡獲取所述待分析目標對應的檢測區域，其方法為：

分別將所述第一特征、所述第二特征、所述第三特征進行卷積，得到第一卷積特征、第二卷積特征、第三卷積特征；

基于所述第一卷積特征、所述第二卷積特征、所述第三卷積特征，分別通過區域生成網絡的分類分支、回歸分支進行互相關運算，得到待分析目標對應預測的各檢測框及其對應的score值；

將score值最大的檢測框作為待分析目標在當前幀圖像中的檢測區域；

步驟S400，令t＝t+1，跳轉步驟S100，迭代獲取所述待分析目標在設定幀數內的檢測區域、mask；基于獲取的各檢測區域、mask，通過預設的聚類方法，得到所述待分析目標在設定幀數內的運動狀態。

2.根據權利要求1所述的基于孿生網絡的籠養動物行為分析方法，其特征在于，所述預設的待分析目標的背景區域其預處理方法為：

步驟A100，分別沿視頻數據第一幀圖像中的目標區域的寬邊、高邊的中點進行平分；平分后，沿平分后的區域的反平行方向選取與平分區域大小相等、距離為N倍寬或高的區域，并結合平分的區域，構建與目標區域大小相等的四個區域；

步驟A200，將視頻數據第一幀圖像中的目標區域的中心點分別作為左右方向矩形區域的高的中點、上下方向矩形區域的寬的中點，構建與目標區域大小相等的四個區域；

步驟A300，在視頻數據第一幀圖像中的目標區域的上下左右四個方位隨機構建與目標區域大小相等但不重疊的四個區域；

步驟A400，基于步驟A100-步驟A300選取的區域，分別判斷構建的各區域的邊界是否大于第一幀圖像的邊界，若大于則刪除，將剩余的區域作為預處理后的背景區域。

3.根據權利要求1所述的基于孿生網絡的籠養動物行為分析方法，其特征在于，步驟S400中“通過蒙版子網絡獲取所述待分析目標的mask”，其方法為：

分別將所述第一特征、所述第二特征、所述第三特征進行卷積，得到第一卷積特征、第二卷積特征、第三卷積特征；

將所述第一卷積特征與所述第二卷積特征、所述第三卷積特征進行互相關運算，運算完成后再次進行卷積，得到待分析目標的mask；

通過語義分割網絡對所述mask進行修正，將修正后的mask作為待分析目標最終獲取的mask。

4.根據權利要求3所述的基于孿生網絡的籠養動物行為分析方法，其特征在于，“通過語義分割網絡對所述mask進行修正”，其方法為：

mask_Refine＝Refine(mask,Conv(mask),{φ_l(x)|l∈L})

其中，z表示第一區域，b'表示第二區域，x表示搜索區域，φ(x)、φ(z)、φ(b')分別表示提取的第一特征、第二特征、第三特征，Conv表示卷積運算，Norm表示標準化運算，Refine表示語義分割網絡RefineNet，mask_Refine表示修正后的Mask，l表示卷積的中間層選取的多尺度特征的層數，L表示卷積的中間層選取的多尺度特征的層數集合，*表示互相關運算，d表示特征的深度。