[發明專利]一種基于深度學習及圖像技術的昆蟲動態行為識別方法

有效

• 申請號: 202110656390.8
• 申請日: 2021-06-11
• 公開（公告）號: CN113298023B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 詹煒;董天豫;洪勝兵;閔超
• 申請（專利權）人: 長江大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/25;G06V10/82;G06N3/04;G06N3/08;G06T7/136
• 代理公司: 荊州市亞德專利事務所(普通合伙) 42216
• 代理人: 蔡昌偉

本發明涉及一種行為識別方法，具體涉及一種基于深度學習及圖像技術的昆蟲動態行為識別方法。該識別方法，包括如下步驟：1）、獲取數據源視頻；2）、處理圖像；3）、建立識別模型；4）、提取時間空間特征；5）、深度學習；6）、識別分類昆蟲動態行為。該識別方法通過將昆蟲身體分為頭部和尾部區域，分別提取ROI，且分別對頭部和尾部ROI進行檢測，能有效避免昆蟲當前行為對身體其他部位造成的震動干擾導致誤判，進而能有效提高準確率；同時在對關鍵點識別模型和神經網絡模型進行訓練后，即能通過關鍵點識別模型和神經網絡模型自動識別昆蟲行為生成結果，進而能大大減少人工觀測時間；解決了現有現有方法費時費力，準確性不佳的問題。

技術領域

本發明涉及一種行為識別方法，具體涉及一種基于深度學習及圖像技術的昆蟲動態行為識別方法。

背景技術

作物和儲藏物歷來一直飽受害蟲的侵襲，研究昆蟲行為的種類，規律和功能，可為昆蟲的防治和預測預報提供理論基礎。近年來，在農業生產中計算機視覺技術的應用越來越多，利用計算機代替人工監控、統計，有著更高的效率，為農業生產的調控提供可靠、準確的依據。

目前鮮有專門針對昆蟲行為識別的方法，對動物的行為識別主要通過人工觀察分析統計、光流法和關鍵點定位法。人工觀察分析統計時研究人員需要一幀一幀地播放視頻，并手動記錄每次梳理行為的時間間隔，這既費時費力，又不準確；人工觀察法效率偏低、耗時長、人員易疲勞，數據偏差隨觀察時間增加而增多，影響最終研究結論。國外有少量對于昆蟲行為識別的研究，其利用計算機程序對昆蟲行為檢測和分析，但其對昆蟲行為檢測和分析的準確性欠佳。

發明內容

本發明的目的是：提供一種能在保證昆蟲行為檢測和分析的準確性的情況下，同時能大大減少人工觀測的時間，以解決現有方法費時費力，準確性不佳問題的基于深度學習及圖像技術的昆蟲動態行為識別方法。

本發明的技術方案是：

一種基于深度學習及圖像技術的昆蟲動態行為識別方法，其特征在于：包括如下步驟：

1）、獲取數據源視頻

a、通過錄像設備使用高清攝像頭，拍攝視頻分辨1920*1080、幀率為25幀每秒的透明培養皿中自由活動的昆蟲背面和正面區域場景視頻；

2）、處理圖像

b、將拍攝的昆蟲行為視頻篩選整理，按時序逐幀讀取，使用圖像處理技術對幀圖片閾值分割，閾值分割時根據拍攝背景的顏色直方圖確定區間閾值，最低閾值low在[60,50,20]至[100,70,60] 范圍內確定，最高閾值high在[200,200,200]至[255,255,255]范圍內確定，將最低閾值low和最高閾值high之間的顏色值（RGB數值）變為255，將最低閾值low和最高閾值high之間的顏色值變為0，從而無噪點地提取圖像中的昆蟲背景，提取出的部分轉換為一個含有昆蟲背景信息的灰度圖像，將獲得的灰度圖像矩陣取反，獲得該幀中只含有昆蟲身體像素信息的圖像；

c、將拍攝的昆蟲行為視頻篩選整理，按時序逐幀讀取，對圖像進行灰度化處理，生成帶有時間信息的灰度圖像；

3）、建立識別模型

d、對步驟c中獲得的圖像通過幀間差分強度局部最大值關鍵幀提取算法，提取關鍵點識別訓練幀，每分鐘視頻提取出1-2幀，提取訓練幀后，在訓練幀中標記頭部和尾部的關鍵點，訓練幀中的數據使用尺度抖動與隨機旋轉進行增強，尺度抖動的范圍為0.5-1.5，隨機旋轉的范圍為±25，增強后，向數據中添加隨機運動模糊與彈性形變；

e、將步驟d處理獲得的訓練幀投入關鍵點識別算法DeepLabCut在ImageNet數據集上預訓練過的ResNet50訓練網絡中，通過訓練幀對關鍵點識別算法DeepLabCut進行訓練獲得一個昆蟲頭部與尾部關鍵點識別模型；