[發(fā)明專利]一種基于深度學(xué)習(xí)的多特征融合魚類異常行為檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210027564.9
• 申請(qǐng)日: 2022-01-11
• 公開（公告）號(hào): CN114463843A
• 公開（公告）日: 2022-05-10
• 發(fā)明（設(shè)計(jì)）人: 錢浩天;馬燕妮;斯毓秀;曹迪;余邵聰
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/80;G06V10/54;G06V10/62;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G06N20/20;G06K9/62
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 忻明年

1.一種基于深度學(xué)習(xí)的多特征融合魚類異常行為檢測(cè)方法，其特征在于：所述基于深度學(xué)習(xí)的多特征融合魚類異常行為檢測(cè)方法包括如下步驟：

S1、獲取魚群圖像數(shù)據(jù)集，所述魚群圖像數(shù)據(jù)集包括正常行為圖像和異常行為圖像；

S2、對(duì)所述魚群圖像數(shù)據(jù)集中的圖像進(jìn)行預(yù)處理；

S3、對(duì)預(yù)處理后的圖像進(jìn)行特征提取，具體如下：

S31、采用DCNN遷移學(xué)習(xí)模型對(duì)圖像進(jìn)行魚群評(píng)分特征提取，所述DCNN遷移學(xué)習(xí)模型獲取如下：

S311、利用ImageNet數(shù)據(jù)集中的圖像對(duì)DCNN神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練，所述DCNN神經(jīng)網(wǎng)絡(luò)模型采用Inception-v3模型，包括依次連接的第一卷積層、第二卷積層、第三卷積層、第一池化層、第四卷積層、第五卷積層、第六卷積層、第一特征提取模塊、第二特征提取模塊、第三特征提取模塊、第二池化層、Dropout層和全連接層，所述第一特征提取模塊包括三個(gè)Inception模塊，所述第二特征提取模塊包括五個(gè)Inception模塊，所述第三特征提取模塊包括兩個(gè)Inception模塊；

S312、基于預(yù)處理后的圖像對(duì)預(yù)訓(xùn)練的DCNN神經(jīng)網(wǎng)絡(luò)模型的全連接層進(jìn)行訓(xùn)練，微調(diào)所述全連接層的參數(shù)，獲得DCNN遷移學(xué)習(xí)模型；

S32、采用灰度共生矩陣對(duì)圖像進(jìn)行魚群紋理特征提??；

S33、采用LK光流法對(duì)圖像進(jìn)行魚群行為特征提??；

S4、分別對(duì)所述魚群評(píng)分特征、魚群紋理特征和魚群行為特征數(shù)據(jù)進(jìn)行歸一化處理；

S5、將每幀圖像歸一化處理后的魚群評(píng)分特征、魚群紋理特征和魚群行為特征作為特征向量輸入XGBoost模型進(jìn)行訓(xùn)練，獲得魚群異常行為檢測(cè)模型；

S6、對(duì)所述魚群異常行為檢測(cè)模型進(jìn)行性能評(píng)估，獲得最終魚群異常行為檢測(cè)模型。

2.如權(quán)利要求1所述的基于深度學(xué)習(xí)的多特征融合魚類異常行為檢測(cè)方法，其特征在于：步驟S2中，所述預(yù)處理具體如下：

S21、采用加權(quán)平均法對(duì)圖像進(jìn)行灰度化處理，公式如下：

f(x,y)＝0.3R(x,y)+0.59G(x,y)+0.11B(x,y)

其中，f(x,y)為坐標(biāo)為(x,y)的像素點(diǎn)的灰度值，R(x,y)、G(x,y)、B(x,y)依次對(duì)應(yīng)為坐標(biāo)為(x,y)的像素點(diǎn)的紅色分量值、綠色分量值和藍(lán)色分量值；

S22、將灰度化處理后的圖像的灰度按照灰度級(jí)頻率排序，并進(jìn)行直方圖均衡化，公式如下：

其中，p_r(r_k)為灰度級(jí)r_k在圖像中出現(xiàn)的概率；n_k為灰度級(jí)r_k的像素個(gè)數(shù)；n為圖像的像素總數(shù)；L為圖像的灰度級(jí)總數(shù)；s_k為直方圖均衡化映射函數(shù)；

S23、對(duì)直方圖均衡化處理后的圖像進(jìn)行中值濾波。

3.如權(quán)利要求2所述的基于深度學(xué)習(xí)的多特征融合魚類異常行為檢測(cè)方法，其特征在于：步驟S23中，所述中值濾波的濾波窗口大小為6*6。

4.如權(quán)利要求1所述的基于深度學(xué)習(xí)的多特征融合魚類異常行為檢測(cè)方法，其特征在于：步驟S32中，所述魚群紋理特征包括對(duì)比度C₁、相關(guān)性C₂、能量E₁、熵E₁和同質(zhì)性C₃，公式如下：

1)對(duì)比度：

2)相關(guān)性：

3)能量：

4)熵：

5)同質(zhì)性：

其中，灰度共生矩陣P_d(i,j)表示灰度為i和j的兩個(gè)像素具有空間位置關(guān)系d出現(xiàn)的次數(shù)，L為圖像的灰度級(jí)總數(shù)，