[發明專利]一種過魚通道目標魚類實時識別方法和系統

有效

• 申請號: 202110143951.4
• 申請日: 2021-02-02
• 公開（公告）號: CN112949408B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 申劍;柳春娜;蔣曉明;彭松濤;劉毅;余凌;晏國順;朱蒙恩;訾進甲;劉軼;李健源;方仲超
• 申請（專利權）人: 中國水利水電科學研究院;華電西藏能源有限公司
• 主分類號: G06V20/05
• 分類號: G06V20/05;G06V10/25;G06V10/40;G06V10/774;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 張琳麗

1.一種過魚通道目標魚類實時識別方法，其特征在于，包括：

獲取過魚通道的待檢測圖像；

獲取目標魚類檢測模型；所述目標魚類檢測模型為以圖像為輸入，以魚類品種為輸出的訓練好的神經網絡模型；

采用所述目標魚類檢測模型確定所述待檢測圖像中包含目標品種魚類；所述目標品種魚類包括：異齒裂腹魚、巨須裂腹魚、拉薩裂腹魚和尖裸鯉；

所述獲取目標魚類檢測模型，之前還包括：

獲取樣本訓練集、樣本測試集和樣本驗證集；

獲取初始神經網絡模型；

采用所述樣本訓練集對所述神經網絡模型進行訓練，以調整所述初始神經網絡模型的分類損失值和回歸損失值，得到第一神經網絡模型；

采用所述樣本驗證集驗證所述第一神經網絡模型是否滿足預設收斂條件；當所述第一神經網絡模型不滿足預設收斂條件時，將所述樣本訓練集和所述樣本驗證集進行混合后，重新劃分為新的樣本訓練集和新的樣本驗證集，并返回“采用所述樣本訓練集對所述神經網絡模型進行訓練，以調整所述初始神經網絡模型的分類損失值和回歸損失值，得到第一神經網絡模型”，直至所述第一神經網絡模型滿足預設收斂條件；

采用所述樣本測試集對所述第一神經網絡模型進行聯合訓練，得到目標魚類檢測模型；

所述樣本訓練集的確定過程為：

獲取訓練圖片；所述訓練圖片含有標注信息；

采用選擇性搜索算法提取每一張所述訓練圖片的感興趣區域；

根據所述訓練圖片的感興趣區域和該訓練圖片中的標注信息確定IOU值；

獲取設定閾值；

確定所述IOU值和所述設定閾值間的關系；

當所述IOU值大于所述設定閾值時，將所述訓練圖片作為正樣本；

依據所述正樣本的IOU值對所述正樣本進行排序，并提取每一所述正樣本中的前n個標注信息的區域圖像，保存所述區域圖像得到樣本訓練集；n小于等于300；

所述采用所述樣本訓練集對所述神經網絡模型進行訓練，以調整所述初始神經網絡模型的分類損失值和回歸損失值，得到第一神經網絡模型，具體包括：采用所述樣本訓練集對所述神經網絡模型進行訓練，得到所述神經網絡模型輸出的Softmax向量和坐標向量；對所述Softmax向量進行交叉熵計算得到分類損失值；對所述坐標向量進行Smooth L1 Loss計算得到回歸損失值；采用所述分類損失值和所述回歸損失值替換所述神經網絡模型的原始分類損失值和原始回歸損失值，得到所述第一神經網絡模型；

所述采用所述樣本測試集對所述第一神經網絡模型進行聯合訓練，得到目標魚類檢測模型，具體包括：

采用所述第一神經網絡模型提取所述樣本測試集中各測試圖像的第一特征圖；所述第一特征圖包括多層卷積特征圖；

采用候選區域網絡生成特定數量的建議窗口，并將特定數量的所述建議窗口映射到所述第一特征圖中的每層卷積特征圖上，得到第二特征圖；

通過池化層將所述第二特征圖生成固定尺寸的建議特征圖；

采用Softmax Loss損失函數和Smooth L1 Loss損失函數對所述建議特征圖進行分類概率和邊框回歸的聯合訓練后，得到目標魚類檢測模型。

2.一種過魚通道目標魚類實時識別系統，其特征在于，包括：

待檢測圖像獲取模塊，用于獲取過魚通道的待檢測圖像；

目標魚類檢測模型獲取模塊，用于獲取目標魚類檢測模型；所述目標魚類檢測模型為以圖像為輸入，以魚類品種為輸出的訓練好的神經網絡模型；

檢測模塊，用于采用所述目標魚類檢測模型確定所述待檢測圖像中包含目標品種魚類；所述目標品種魚類包括：異齒裂腹魚、巨須裂腹魚、拉薩裂腹魚和尖裸鯉；

還包括：

數據集獲取模塊，用于獲取樣本訓練集、樣本測試集和樣本驗證集；

初始神經網絡模型獲取模塊，用于獲取初始神經網絡模型；

第一神經網絡模型確定模塊，用于采用所述樣本訓練集對所述神經網絡模型進行訓練，以調整所述初始神經網絡模型的分類損失值和回歸損失值，得到第一神經網絡模型；

訓練模塊，用于采用所述樣本驗證集驗證所述第一神經網絡模型是否滿足預設收斂條件；當所述第一神經網絡模型不滿足預設收斂條件時，將所述樣本訓練集和所述樣本驗證集進行混合后，重新劃分為新的樣本訓練集和新的樣本驗證集，并返回“采用所述樣本訓練集對所述神經網絡模型進行訓練，以調整所述初始神經網絡模型的分類損失值和回歸損失值，得到第一神經網絡模型”，直至所述第一神經網絡模型滿足預設收斂條件；

聯合訓練模塊，用于采用所述樣本測試集對所述第一神經網絡模型進行聯合訓練，得到目標魚類檢測模型；

所述聯合訓練模塊具體包括：

第一特征圖確定單元，用于采用所述第一神經網絡模型提取所述樣本測試集中各測試圖像的第一特征圖；所述第一特征圖包括多層卷積特征圖；

第二特征圖確定單元，用于采用候選區域網絡生成特定數量的建議窗口，并將特定數量的所述建議窗口映射到所述第一特征圖中的每層卷積特征圖上，得到第二特征圖；

建議特征圖確定單元，用于通過池化層將所述第二特征圖生成固定尺寸的建議特征圖；

目標魚類檢測單元，用于采用Softmax Loss損失函數和Smooth L1 Loss損失函數對所述建議特征圖進行分類概率和邊框回歸的聯合訓練后，得到目標魚類檢測模型；

所述第一神經網絡模型確定模塊具體包括：

向量確定單元，用于采用所述樣本訓練集對所述神經網絡模型進行訓練，得到所述神經網絡模型輸出的Softmax向量和坐標向量；

分類損失值確定單元，用于對所述Softmax向量進行交叉熵計算得到分類損失值；

回歸損失值確定單元，用于對所述坐標向量進行Smooth L1 Loss計算得到回歸損失值；

第一神經網絡模型確定單元，用于采用所述分類損失值和所述回歸損失值替換所述神經網絡模型的原始分類損失值和原始回歸損失值，得到所述第一神經網絡模型；

還包括樣本訓練集構建模塊；所述樣本訓練集構建模塊包括：

訓練圖片獲取單元，用于獲取訓練圖片；所述訓練圖片含有標注信息；

感興趣區域提取模塊，用于采用選擇性搜索算法提取每一張所述訓練圖片的感興趣區域；

IOU值確定單元，用于根據所述訓練圖片的感興趣區域和該訓練圖片中的標注信息確定IOU值；

設定閾值獲取單元，用于獲取設定閾值；

關系確定單元，用于確定所述IOU值和所述設定閾值間的關系；

正樣本確定單元，用于當所述IOU值大于所述設定閾值時，將所述訓練圖片作為正樣本；

樣本訓練集構建單元，用于依據所述正樣本的IOU值對所述正樣本進行排序，并提取每一所述正樣本中的前n個標注信息的區域圖像，保存所述區域圖像得到樣本訓練集；n小于等于300；

所述第一神經網絡模型確定模塊具體包括：向量確定單元，用于采用所述樣本訓練集對所述神經網絡模型進行訓練，得到所述神經網絡模型輸出的Softmax向量和坐標向量；分類損失值確定單元，用于對所述Softmax向量進行交叉熵計算得到分類損失值；回歸損失值確定單元，用于對所述坐標向量進行Smooth L1 Loss計算得到回歸損失值；第一神經網絡模型確定單元，用于采用所述分類損失值和所述回歸損失值替換所述神經網絡模型的原始分類損失值和原始回歸損失值，得到所述第一神經網絡模型。