[發(fā)明專利]一種基于深度神經(jīng)網(wǎng)絡(luò)的海洋生物識別系統(tǒng)及識別方法

在審

• 申請?zhí)枺?/td>: 202011082654.5
• 申請日: 2020-10-12
• 公開（公告）號: CN112149612A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計）人: 王力劭;程小葛;劉詩煒;劉喬瑋;郝日明
• 申請（專利權(quán)）人: 海略（連云港）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/04
• 代理公司: 南京鑫之航知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32410
• 代理人: 姚蘭蘭

1.一種基于深度神經(jīng)網(wǎng)絡(luò)的海洋生物識別系統(tǒng)，其特征在于，包括：

預(yù)處理模塊，采集海洋生物的原始圖像中包含目標(biāo)對象的原始圖像候選區(qū)域，輸入深度神經(jīng)網(wǎng)絡(luò)DNN；

深度神經(jīng)網(wǎng)絡(luò)DNN包括核心神經(jīng)網(wǎng)絡(luò)模塊、候選分類區(qū)域模塊、語義分割模塊和分類模塊，所述核心神經(jīng)網(wǎng)絡(luò)模塊接收到預(yù)處理模塊發(fā)送的預(yù)處理圖像后，經(jīng)處理獲得卷積特征圖像，然后由候選分類區(qū)域模塊對卷積特征圖像進行計算得到目標(biāo)對象存在的概率和目標(biāo)對象的坐標(biāo)；分類模塊接收目標(biāo)對象概率、目標(biāo)對象坐標(biāo)及卷積特征圖像信息后，經(jīng)過處理獲得帶有物種識別的物種分類及物種邊界框；語義分割模塊對每個邊界框內(nèi)的物種進行像素級別的語義分割生成掩膜；

圖像合成模塊，將物種分類、物種邊界框及掩膜信息與預(yù)處理的海洋生物圖像進行合成處理，得到海洋生物實體分割圖像。

2.根據(jù)權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)的海洋生物識別系統(tǒng)，其特征在于：所述核心神經(jīng)網(wǎng)絡(luò)模塊包括若干個神經(jīng)網(wǎng)絡(luò)層塊，所述神經(jīng)網(wǎng)絡(luò)層塊包括一組按順序連接的卷積層、一組ReLU層和一組標(biāo)準(zhǔn)化層。

3.根據(jù)權(quán)利要求2所述的基于深度神經(jīng)網(wǎng)絡(luò)的海洋生物識別系統(tǒng)，其特征在于：不同的神經(jīng)網(wǎng)絡(luò)層塊的卷積層、ReLU層和標(biāo)準(zhǔn)化層的分別結(jié)構(gòu)相同、神經(jīng)元權(quán)重不同。

4.根據(jù)權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)的海洋生物識別系統(tǒng)，其特征在于：所述候選分類區(qū)域模塊包括并聯(lián)的若干個卷積神經(jīng)網(wǎng)絡(luò)塊一。

5.根據(jù)權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)的海洋生物識別系統(tǒng)，其特征在于：所述語義分割模塊包括若干個串聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)塊二。

6.根據(jù)權(quán)利要求1所述的基于深度神經(jīng)網(wǎng)絡(luò)的海洋生物識別系統(tǒng)，其特征在于：所述分類模塊包括串聯(lián)的若干個卷積神經(jīng)網(wǎng)絡(luò)塊三以及并聯(lián)后與卷積神經(jīng)網(wǎng)絡(luò)塊三串聯(lián)的softmax層和回歸層。

7.一種基于深度神經(jīng)網(wǎng)絡(luò)的海洋生物識別方法，其特征在于包括以下步驟：

S1圖像預(yù)處理：采集海洋生物的原始圖像中包含目標(biāo)對象的原始圖像候選區(qū)域，得到預(yù)處理的海洋生物圖像，然后將預(yù)處理的海洋生物圖像輸入深度神經(jīng)網(wǎng)絡(luò)DNN中；

S2生成卷積特征圖像：深度神經(jīng)網(wǎng)絡(luò)DNN根據(jù)根據(jù)卷積核尺寸和步長計算生成卷積特征圖像；

S3構(gòu)建海洋生物候選分類區(qū)域：由卷積神經(jīng)網(wǎng)絡(luò)塊一對卷積特征圖進行處理，判斷原始圖像候選區(qū)域是否包含目標(biāo)對象，然后計算出目標(biāo)對象存在的概率，最后采用回歸算法推算出目標(biāo)對象的坐標(biāo)；

S4物種分類及邊界框預(yù)測：將目標(biāo)對象概率、目標(biāo)對象坐標(biāo)和卷積特征圖像輸入分類模塊，經(jīng)卷積神經(jīng)網(wǎng)絡(luò)塊三處理后再通過softmax層對目標(biāo)對象進行分類獲得物種類別、通過回歸層采用回歸算法每個物種類別的圖像邊界框信息；

S5語義分割：將圖像的邊界框信息輸入卷積神經(jīng)網(wǎng)絡(luò)塊三進行邊界框內(nèi)的物種僅需語義分割，獲得物種形狀的掩膜；

S6合并：物種形狀的掩膜、物種分類和物種邊界框合并處理得到原始海洋圖像的實體分割，進而對原始圖像內(nèi)的物種進行識別。

8.根據(jù)權(quán)利要求7所述的基于深度神經(jīng)網(wǎng)絡(luò)的海洋生物識別方法，其特征在于：步驟S3中，獲取卷積特征圖像上的每個點作為定位點，由定位點生成定位框，候選分類區(qū)域模塊的一個卷積神經(jīng)網(wǎng)絡(luò)塊一對定位框內(nèi)是否包含目標(biāo)對象計算出概率，另一個卷積神經(jīng)網(wǎng)絡(luò)塊二利用回歸算法計算出目標(biāo)對象的坐標(biāo)。

9.根據(jù)權(quán)利要求7所述的基于深度神經(jīng)網(wǎng)絡(luò)的海洋生物識別方法，其特征在于：步驟S5中，采用硬閾值函數(shù)計算卷積神經(jīng)網(wǎng)絡(luò)塊三的權(quán)重值，得到二進制掩膜，利用梯度損失函數(shù)反向計算對二進制掩膜的權(quán)重值進行更新優(yōu)化，優(yōu)化后的二進制掩膜與核心神經(jīng)網(wǎng)絡(luò)的權(quán)重計算元素積從而得到物種形狀的掩膜，即對邊界框內(nèi)的物種進行語義分割。