[發明專利]基于深度學習的河豚魚個體識別方法

有效

• 申請號: 202010207890.9
• 申請日: 2020-03-23
• 公開（公告）號: CN111428785B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 劉向榮;謝少靈;柳娟
• 申請（專利權）人: 廈門大學
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/82;G06T7/12;G06T7/62;G06N3/0464;G06N3/09;G06T3/40;G06T5/00;G06T5/50
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

1.基于深度學習的河豚魚個體識別方法，其特征在于包括如下步驟：

1)利用智能手機采集河豚魚圖片，并對采集到的河豚魚圖片進行預處理，包括河豚魚圖像掩膜標注以及數據增強；

2)在預處理完的河豚魚數據集上訓練圖像分割模型，得到訓練好的分割模型；

所述在預處理完的河豚魚數據集上訓練圖像分割模型的具體方法為：

步驟2.1：將模型中的批歸一化層修改成組歸一化層，同時調整初始化內容，跳過批歸一化的初始化；

步驟2.2：采用預訓練權重初始化網絡，用在COOC或PASCAL_VOC數據集上訓練的權重初始化網絡，并對最后的輸出層做隨機初始化；

步驟2.3：每次向網絡模型送入預處理后的訓練樣本以及對應的標注，通過前向傳播和反向傳播兩個步驟反復訓練直到達到最大的迭代次數，使損失函數值最小；

3)將用于河豚魚特征提取的河豚魚圖像送入訓練好的分割模型，并對分割得到的河豚魚圖像進行對齊；

所述對分割得到的河豚魚圖像進行對齊的具體方法為：

步驟3.1：將預處理好的圖像送入訓練好的分割模型，獲得圖像的分割結果，將圖像中分割掩膜結果以外的區域置為0，即黑色；

步驟3.2：對分割結果使用OpenCV計算分割邊緣，接著再次使用OpenCV計算分割邊緣的最小外接矩形；

步驟3.3：根據最小外接矩形的四個點，找出短邊以及短邊對應的直線；

步驟3.4：分別從兩短邊向矩形中心移動1/4的長邊距離，移動方向為平行于矩形的長邊，分別計算與兩短邊之間的邊緣面積，面積小的就是尾巴的位置，面積大的就是頭部的位置；

步驟3.5：根據頭部和尾部的位置，重新排列矩形的四個坐標點，使得使用仿射變換后得到的河豚魚頭部一定是水平向右，尾部是水平向左的；

步驟3.6：將對齊后的原始河豚魚圖像根據OpenCV獲取到的矩形大小進行裁剪；

4)訓練特征提取網絡，將對齊后的河豚魚圖像劃分成訓練集和驗證集，在訓練集上訓練特征提取網絡，得到可用于提取河豚魚特征的特征提取模型；

所述訓練特征提取網絡的具體方法為：

步驟4.1：將每一條河豚魚的所有圖片放入訓練好的分割模型中，獲取分割結果；

步驟4.2：將所有分割結果進行對齊操作，并統計河豚魚平均的長寬，根據平均的長寬對所有對齊后的圖片進行縮放；

步驟4.3：將對齊后的圖片送入卷積神經網絡中，網絡將學習如何提取河豚魚的特征，進行迭代訓練后得到可用于提取河豚魚特征的模型；

5)將用于測試的圖片放入訓練好的分割模型，分割結果對齊后送入訓練好的特征提取模型得到輸入圖片的特征向量，計算該特征向量與數據集中的河豚魚特征向量的距離，獲得輸入圖片中河豚魚個體信息；

所述獲得輸入圖片中河豚魚個體信息的具體方法為：

步驟5.1：將用于測試的圖片放入訓練好的分割模型，獲得分割結果，接著將分割結果進行對齊并縮放，然將對齊結果送入訓練好的特征提取模型，得到測試圖片中河豚魚的特征向量；

步驟5.2：將獲得的特征向量與已有特征向量進行比對，使用余弦距離或者歐式距離進行比對，根據比對結果返回測試圖片中河豚魚的個體信息。

2.如權利要求1所述基于深度學習的河豚魚個體識別方法，其特征在于在步驟1)中，所述對采集到的河豚魚圖片進行預處理的具體方法為：

步驟1.1：使用標注工具將圖片中的河豚魚邊緣標注出來，然后將標注內容導出為json文件；

步驟1.2：對標注好的圖像進行圖像增強，使用方式有隨機銳度增強、隨機顏色增強、隨機對比度增強、隨機亮度增強、圖片融合，增強后一張標注圖片變為五張。