[發(fā)明專利]一種基于深度學(xué)習(xí)及圖像技術(shù)的昆蟲動(dòng)態(tài)行為識別方法

有效

• 申請?zhí)枺?/td>: 202110656390.8
• 申請日: 2021-06-11
• 公開（公告）號: CN113298023B
• 公開（公告）日: 2022-09-23
• 發(fā)明（設(shè)計(jì)）人: 詹煒;董天豫;洪勝兵;閔超
• 申請（專利權(quán)）人: 長江大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/25;G06V10/82;G06N3/04;G06N3/08;G06T7/136
• 代理公司: 荊州市亞德專利事務(wù)所(普通合伙) 42216
• 代理人: 蔡昌偉

1.一種基于深度學(xué)習(xí)及圖像技術(shù)的昆蟲動(dòng)態(tài)行為識別方法，其特征在于：包括如下步驟：

1）、獲取數(shù)據(jù)源視頻

a、通過錄像設(shè)備使用高清攝像頭，拍攝視頻分辨1920*1080、幀率為25幀每秒的透明培養(yǎng)皿中自由活動(dòng)的昆蟲背面和正面區(qū)域場景視頻；

2）、處理圖像

b、將拍攝的昆蟲行為視頻篩選整理，按時(shí)序逐幀讀取，使用圖像處理技術(shù)對幀圖片閾值分割，閾值分割時(shí)根據(jù)拍攝背景的顏色直方圖確定區(qū)間閾值，最低閾值low在[60,50,20]至[100,70,60] 范圍內(nèi)確定，最高閾值high在[200,200,200]至[255,255,255]范圍內(nèi)確定，將最低閾值low和最高閾值high之間的顏色值變?yōu)?55，將最低閾值low和最高閾值high之間的顏色值變?yōu)?，從而無噪點(diǎn)地提取圖像中的昆蟲背景，提取出的部分轉(zhuǎn)換為一個(gè)含有昆蟲背景信息的灰度圖像，將獲得的灰度圖像矩陣取反，獲得該幀中只含有昆蟲身體像素信息的圖像；

c、將拍攝的昆蟲行為視頻篩選整理，按時(shí)序逐幀讀取，對圖像進(jìn)行灰度化處理，生成帶有時(shí)間信息的灰度圖像；

3）、建立識別模型

d、對步驟c中獲得的圖像通過幀間差分強(qiáng)度局部最大值關(guān)鍵幀提取算法，提取關(guān)鍵點(diǎn)識別訓(xùn)練幀，每分鐘視頻提取出1-2幀，提取訓(xùn)練幀后，在訓(xùn)練幀中標(biāo)記頭部和尾部的關(guān)鍵點(diǎn)，訓(xùn)練幀中的數(shù)據(jù)使用尺度抖動(dòng)與隨機(jī)旋轉(zhuǎn)進(jìn)行增強(qiáng)，尺度抖動(dòng)的范圍為0.5-1.5，隨機(jī)旋轉(zhuǎn)的范圍為±25，增強(qiáng)后，向數(shù)據(jù)中添加隨機(jī)運(yùn)動(dòng)模糊與彈性形變；

e、將步驟d處理獲得的訓(xùn)練幀輸入關(guān)鍵點(diǎn)識別算法DeepLabCut在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練過的ResNet50訓(xùn)練網(wǎng)絡(luò)中，通過訓(xùn)練幀對關(guān)鍵點(diǎn)識別算法DeepLabCut進(jìn)行訓(xùn)練獲得一個(gè)昆蟲頭部與尾部關(guān)鍵點(diǎn)識別模型；

f、使用步驟e獲得的識別模型識別昆蟲動(dòng)態(tài)行為視頻，得到每一幀中昆蟲頭、尾的坐標(biāo)與預(yù)測概率，對于預(yù)測概率小于60%的關(guān)鍵點(diǎn)，將其坐標(biāo)設(shè)置為最近一次概率高于60%的坐標(biāo)值，對坐標(biāo)和識別模型進(jìn)行修正；

4）、提取時(shí)間空間特征

g、利用訓(xùn)練后的識別模型識別的每一幀的頭、尾坐標(biāo)，以頭、尾坐標(biāo)為中心將視頻幀中的昆蟲信息圖像分別裁剪出2塊ROI；

h、時(shí)間窗口設(shè)定范圍t為5-15幀，重復(fù)步驟ft次，將每一塊ROI重構(gòu)、堆疊得到ROI特征提取窗口矩陣T，將矩陣T變換為矩陣F，通過矩陣F獲得質(zhì)心矩陣M；

i、以矩陣M為紅色通道保存，以矩陣T中的第二行幀信息為藍(lán)色通道保存,以S-ROI為綠色通道，生成昆蟲時(shí)空信息特征圖像；

5）、深度學(xué)習(xí)

j、根據(jù)步驟i中生成的時(shí)空特征圖像特點(diǎn)，將時(shí)空特征圖像中的昆蟲行為分類存放并進(jìn)行標(biāo)簽標(biāo)注；

k、利用步驟j分類并標(biāo)注的時(shí)空特征圖像對神經(jīng)網(wǎng)絡(luò)模型VGG16進(jìn)行訓(xùn)練，對其網(wǎng)絡(luò)參數(shù)進(jìn)行修改；

6）、識別分類昆蟲動(dòng)態(tài)行為

l、通過步驟k中訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型VGG16對需要檢測的視頻數(shù)據(jù)進(jìn)行預(yù)測，生成ROI區(qū)域圖像統(tǒng)計(jì)結(jié)果表；

提取完成時(shí)空特征圖像進(jìn)入訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型VGG16中，神經(jīng)網(wǎng)絡(luò)模型VGG16對時(shí)空特征圖像中的昆蟲行為進(jìn)行識別，分別得出頭部區(qū)域和尾部區(qū)域ROI的預(yù)測結(jié)果；對兩個(gè)預(yù)測結(jié)果加以判斷得出最終的行為預(yù)測結(jié)果，判斷方法如下：首先判斷該幀是否有行為發(fā)生，若頭部區(qū)域和尾部區(qū)域ROI檢測結(jié)果均無行為，則此幀最終判斷為無行為；若其中一個(gè)的檢測結(jié)果為有行為，則有行為的那個(gè)ROI的檢測結(jié)果為此幀最終判斷結(jié)果；若兩個(gè)ROI檢測結(jié)果存在不同種行為，則此幀最終判斷結(jié)果為其中概率最大ROI的檢測結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)及圖像技術(shù)的昆蟲動(dòng)態(tài)行為識別方法，其特征在于：所述的最低閾值low=[80,60,40]，最高閾值high=[255,255,255]。

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)及圖像技術(shù)的昆蟲動(dòng)態(tài)行為識別方法，其特征在于：所述的閾值分割公式為：

式中，為圖像中的顏色值；

將獲得的數(shù)值填充至矩陣：

將矩陣取反獲得的該幀中只含有昆蟲身體像素信息的圖像矩陣：

。