[發明專利]基于深度學習的大熊貓行為識別方法、系統、終端及介質

有效

• 申請號: 202011116733.3
• 申請日: 2020-10-19
• 公開（公告）號: CN112016527B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 侯蓉;陳鵬;江偉建;張志和;潘賈爾·史瓦盧普;吳永勝
• 申請（專利權）人: 成都大熊貓繁育研究基地
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/25;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 鄒成嬌

1.一種基于深度學習的大熊貓行為識別方法，其特征在于，包括：

獲取大熊貓的日常活動圖像；

將所述大熊貓的日常活動圖像輸入到目標檢測網絡中進行目標檢測，得到以輸出邊界框劃出的大熊貓面部及熊貓身體；

提取出檢測到的大熊貓面部區域圖像和大熊貓身體區域圖像；

對大熊貓面部區域圖像和大熊貓身體區域圖像進行歸一化，得到歸一化后的圖像；

使用神經網絡將歸一化后的圖像進行特征分析，學習不同行為并分類；

輸出大熊貓面部動作和身體行為的分類結果；

所述將日常活動圖像輸入到目標檢測網絡中進行目標檢測，得到以輸出邊界框劃出的大熊貓面部及大熊貓身體的具體方法包括:

計算大熊貓日常活動圖像的卷積特征圖；

從卷積特征圖中利用特征提取網絡模型提取出與候選的感興趣區域相對應的特征，并將相對應的特征依次輸入感興趣區域的池化層和全連接層，計算感興趣區域的特征向量；

使用所述特征向量對感興趣區域中的對象分類，并通過各自的子網對邊界框坐標進行回歸；

所述神經網絡采用在ImageNet數據集上預訓練的ResNet-50模型，保留了殘差網絡模型的4個卷積層，在網殘差網絡模型的卷積層后增加了二個卷積塊和一個全連接層，所述卷積塊由一個核大小為3的卷積層、批量歸一化層和激活函數組成，為了對大熊貓主要行為分類，全連接層有五對輸出節點；為了對細微面部動作進行分類，全連接層有與眼睛和嘴部動作相對應的兩對輸出節點。

2.如權利要求1所述的方法，其特征在于，所述方法還包括對神經網絡進行訓練，對神經網絡訓練時包括對訓練圖像的處理，具體包括：

對提取出檢測到的大熊貓面部區域圖像和大熊貓身體區域圖像進行剪裁，保持寬高比不變的情況下，將圖像的長邊調整為224像素，對圖像的其余像素采用零填充；

根據大熊貓身體行為屬性創建五個肯定標注列表和五個否定標注列表，并針對大熊貓面部動作屬性創建兩個肯定標注列表和兩個否定標注列表；

從每個屬性的肯定標注列表和否定標注列表中隨機抽取圖像進行訓練。

3.一種基于深度學習的大熊貓行為識別系統，其特征在于，圖像獲取模塊、目標檢測模塊、圖像提取模塊、歸一化處理模塊、行為分類模塊和結果輸出模塊，其中，

所述圖像獲取模塊用于獲取大熊貓的日常活動圖像；

所述目標檢測模塊用于將大熊貓的日常活動圖像輸入到目標檢測網絡中進行目標檢測，得到以輸出邊界框劃出的大熊貓面部及熊貓身體；

所述圖像提取模塊用于提取出檢測到的大熊貓面部區域圖像和大熊貓身體區域圖像；

所述歸一化處理模塊用于對大熊貓面部區域圖像和大熊貓身體區域圖像進行歸一化，得到歸一化后的圖像；

所述行為分類模塊用于使用神經網絡將歸一化后的圖像進行特征分析，學習不同行為并分類；

所述結果輸出模塊用于輸出大熊貓面部動作和身體行為的分類結果；

所述神經網絡采用在ImageNet數據集上預訓練的ResNet-50模型，保留了殘差網絡模型的4個卷積層，在網殘差網絡模型的卷積層后增加了二個卷積塊和一個全連接層，所述卷積塊由一個核大小為3的卷積層、批量歸一化層和激活函數組成，為了對大熊貓主要行為分類，全連接層有五對輸出節點；為了對細微面部動作進行分類，全連接層有與眼睛和嘴部動作相對應的兩對輸出節點。

4.如權利要求3所述的系統，其特征在于，所述目標檢測模塊進行目標檢測的具體方法包括：

計算大熊貓日常活動圖像的卷積特征圖；

從卷積特征圖中利用特征提取網絡模型提取出與候選的感興趣區域相對應的特征，并將相對應的特征依次輸入感興趣區域的池化層和全連接層，計算感興趣區域的特征向量；

使用所述特征向量對感興趣區域中的對象分類，并通過各自的子網對邊界框坐標進行回歸。