[發(fā)明專利]基于圖像特征深度學(xué)習(xí)的小球藻和金藻分類識別方法

在審

• 申請?zhí)枺?/td>: 202110776867.6
• 申請日: 2021-07-09
• 公開（公告）號: CN113435389A
• 公開（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 劉丹;程遠(yuǎn);王鵬琪;王羽徴;畢海;宋金巖;趙云麗
• 申請（專利權(quán)）人: 大連海洋大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 大連非凡專利事務(wù)所 21220
• 代理人: 閃紅霞

1. 一種基于圖像特征深度學(xué)習(xí)的小球藻和金藻分類識別方法，其特征在于將待分類識別圖像輸入至圖像特征深度學(xué)習(xí)的計(jì)算機(jī)模型中處理，所述圖像特征深度學(xué)習(xí)的計(jì)算機(jī)模型依次按照如下步驟構(gòu)建：

步驟1：制備目標(biāo)檢測數(shù)據(jù)集

步驟1.1：在低倍率電子顯微鏡條件下，采集含小球藻和金藻的圖像；

步驟1.2：將采集的圖像經(jīng)過OpenCV預(yù)處理；

步驟1.3：將經(jīng)過OpenCV預(yù)處理的圖像通過TinyResNet-15卷積神經(jīng)網(wǎng)絡(luò)對圖像中的小球藻及金藻進(jìn)行分類，得到具有小球藻和金藻類別信息的圖像；

所述TinyResNet-15卷積神經(jīng)網(wǎng)絡(luò)對圖像中的小球藻及金藻進(jìn)行分類步驟如下：

步驟1.3.1將圖像傳入第一卷積層中，先進(jìn)行卷積核為3*3、輸入通道數(shù)為3、輸出通道數(shù)為64、步長為2填充為3的卷積操作，之后依次進(jìn)行BN和Relu操作，輸出尺寸為64*26*26的特征圖；將所述特征圖再進(jìn)行卷積核為3*3、步長為2的最大池化操作，得到尺寸為64*13*13的第一卷積層最終輸出特征圖out1；

步驟1.3.2將第一卷積層最終輸出特征圖out1傳入第二卷積層中，所述第二卷積層分為兩路，一路為基礎(chǔ)殘差結(jié)構(gòu)，先進(jìn)行卷積核為1*1、輸入通道數(shù)與輸出通道數(shù)均為64、步長為1無填充的第一卷積conv2_1操作，之后進(jìn)行BN操作；再進(jìn)行卷積核為3*3、輸入通道數(shù)與輸出通道數(shù)均為64、步長填充均為1的第二卷積conv2_2操作，之后是BN操作；再進(jìn)行卷積核為1*1、輸入通道數(shù)為64、輸出通道數(shù)為256、步長為1無填充的第三卷積conv2_3操作，之后依次是BN和Relu操作，得到輸出特征圖out2_1；另一路為下采樣結(jié)構(gòu)，先進(jìn)行一個卷積核為1*1、輸入通道數(shù)為64、輸出通道數(shù)為256、步長為1無填充的卷積操作，之后進(jìn)行BN操作得到輸出特征圖out2_2，輸出特征圖out2_2與輸出特征圖out2_1相加，得到尺寸為256*13*13的第二卷積層的最終輸出特征圖out2；

步驟1.3.3將第二卷積層最終輸出特征圖out2傳入第三卷積層中，所述第三卷積層分為兩路，一路為基礎(chǔ)殘差結(jié)構(gòu)，先進(jìn)行卷積核為1*1、輸入通道數(shù)為256、輸出通道數(shù)為128、步長為2無填充的第一卷積conv3_1操作，之后進(jìn)行BN操作；再進(jìn)行卷積核為3*3、輸入通道數(shù)與輸出通道數(shù)均為128、步長填充均為1的第二卷積conv3_2操作，之后是BN操作；再進(jìn)行卷積核為1*1、輸入通道數(shù)為256、輸出通道數(shù)為512、步長為1無填充的第三卷積conv3_3操作，之后依次是BN和Relu操作，得到輸出特征圖out3_1；另一路為下采樣結(jié)構(gòu)，先進(jìn)行一個卷積核為1*1、輸入通道數(shù)為256、輸出通道數(shù)為512、步長為2無填充的卷積操作，之后進(jìn)行BN操作得到輸出特征圖out3_2，輸出特征圖out3_2與輸出特征圖out3_1相加，得到尺寸為512*7*7的第三卷積層的最終輸出特征圖out3；

步驟1.3.4將第三卷積層最終輸出特征圖out3傳入第四卷積層中，所述第四卷積層分為兩路，一路為基礎(chǔ)殘差結(jié)構(gòu)，先進(jìn)行卷積核為1*1、輸入通道數(shù)為512、輸出通道數(shù)為256、步長為2無填充的第一卷積conv4_1操作，之后進(jìn)行BN操作；再進(jìn)行卷積核為3*3、輸入通道數(shù)與輸出通道數(shù)均為256、步長填充均為1的第二卷積conv4_2操作，之后是BN操作；再進(jìn)行卷積核為1*1、輸入通道數(shù)為256、輸出通道數(shù)為1024、步長為1無填充的第三卷積conv4_3操作，之后依次是BN和Relu操作，得到輸出特征圖out4_1；另一路為下采樣結(jié)構(gòu)，先進(jìn)行一個卷積核為1*1、輸入通道數(shù)為512、輸出通道數(shù)為1024、步長為2無填充的卷積操作，之后進(jìn)行BN操作得到輸出特征圖out4_2，輸出特征圖out4_2與輸出特征圖out4_1相加，得到尺寸為512*7*7的第三卷積層的最終輸出特征圖out4；

步驟1.3.5將第四卷積層最終輸出特征圖out4傳入第五卷積層中，所述第五卷積層分為兩路，一路為基礎(chǔ)殘差結(jié)構(gòu)，先進(jìn)行卷積核為1*1、輸入通道數(shù)為1024、輸出通道數(shù)為512、步長為2無填充的第一卷積conv5_1操作，之后進(jìn)行BN操作；再進(jìn)行卷積核為3*3、輸入通道數(shù)與輸出通道數(shù)均為512、步長填充均為1的第二卷積conv5_2操作，之后是BN操作；再進(jìn)行卷積核為1*1、輸入通道數(shù)為512、輸出通道數(shù)為2048、步長為1無填充的第三卷積conv5_3操作，之后依次是BN和Relu操作，得到輸出特征圖out5_1；另一路為下采樣結(jié)構(gòu)，先進(jìn)行一個卷積核為1*1、輸入通道數(shù)為1024、輸出通道數(shù)為2048、步長為2無填充的卷積操作，之后進(jìn)行BN操作得到輸出特征圖out5_2，輸出特征圖out5_2與輸出特征圖out5_1相加，得到尺寸為2048*2*2的第五卷積層的最終輸出特征圖out5；

步驟1.3.6 將最終輸出特征圖out5進(jìn)行view操作展開為二維張量，輸入全連接層Linear中，輸出的2維向量分別對應(yīng)小球藻及金藻類別的概率，從而得到具有小球藻及金藻類別信息的圖像；

步驟1.4采用數(shù)字圖像處理的方式將每個小球藻及金藻類別信息隨機(jī)粘貼，人工生成標(biāo)準(zhǔn)格式的目標(biāo)檢測數(shù)據(jù)集；

步驟2：目標(biāo)分類識別訓(xùn)練

步驟2.1將目標(biāo)檢測數(shù)據(jù)集圖片輸入TinyResNet10卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取：

步驟2.1.1將目標(biāo)檢測數(shù)據(jù)集的圖片尺寸變成1000*1000，先進(jìn)行卷積核為7*7、輸出特征層64個、步長為2填充為3的第一卷積conv21_1操作，得到特征層，再依次進(jìn)行BN與Relu操作，得到尺寸為64*500*500的特征圖，之后再進(jìn)行卷積核大小為3*3、步長為2、填充為1的最大池化操作，得到尺寸為64*250* 250的特征圖out21；

步驟2.1.2將特征圖out21傳入第二卷積層中，先進(jìn)行卷積核為3*3、輸入通道數(shù)與輸出通道數(shù)均為64、步長與填充均為1第一卷積conv22_1操作，再依次進(jìn)行BN與Relu操作，再進(jìn)行卷積核為3*3、輸入通道數(shù)與輸出通道數(shù)均為64、步長與填充均為1第二卷積conv22_2操作，再進(jìn)行BN操作，最終輸出尺寸為64*250*250的特征圖out22；

步驟2.1.3將特征圖out22傳入第三卷積層中，所述第三卷積層分為兩路，一路為基礎(chǔ)殘差結(jié)構(gòu)，先進(jìn)行卷積核為3*3、輸入通道數(shù)為64、輸出通道數(shù)為128、步長為2填充為1的第一卷積conv23_1操作，之后進(jìn)行BN和Relu操作；再進(jìn)行卷積核為3*3、輸入通道數(shù)為128、輸出通道數(shù)為128、步長為1填充為1的第二卷積conv23_2操作，之后進(jìn)行BN操作，得到輸出特征圖out23_1；另一路為下采樣結(jié)構(gòu)，先進(jìn)行一個卷積核為1*1、輸入通道數(shù)為64、輸出通道數(shù)為128、步長為2無填充的卷積操作，之后進(jìn)行BN操作得到輸出特征圖out23_2，輸出特征圖out23_2與輸出特征圖out23_1相加，得到尺寸為128*125*125的第三卷積層的最終輸出特征圖out23；

步驟2.1.4將特征圖out23傳入第四卷積層中，所述第四卷積層分為兩路，一路為基礎(chǔ)殘差結(jié)構(gòu)，先進(jìn)行卷積核為3*3、輸入通道數(shù)為128、輸出通道數(shù)為256、步長為2填充為1的第一卷積conv24_1操作，之后進(jìn)行BN和Relu操作操作；再進(jìn)行卷積核為3*3、輸入通道數(shù)為256、輸出通道數(shù)為256、步長為1填充為1的第二卷積conv24_2操作，之后進(jìn)行BN操作，得到輸出特征圖out24_1；另一路為下采樣結(jié)構(gòu)，先進(jìn)行一個卷積核為1*1、輸入通道數(shù)為128、輸出通道數(shù)為256、步長為2無填充的卷積操作，之后進(jìn)行BN操作得到輸出特征圖out24_2，輸出特征圖out24_2與輸出特征圖out24_1相加，得到尺寸為256*63*63的第四卷積層的最終輸出特征圖out24；

步驟2.1.5將特征圖out24傳入第五卷積層中，所述第五卷積層分為兩路，一路為基礎(chǔ)殘差結(jié)構(gòu)，先進(jìn)行卷積核為3*3、輸入通道數(shù)為256、輸出通道數(shù)為512、步長為2填充為1的第一卷積conv25_1操作，之后進(jìn)行BN和Relu操作操作；再進(jìn)行卷積核為3*3、輸入通道數(shù)為512、輸出通道數(shù)為512、步長為1填充為1的第二卷積conv25_2操作，之后進(jìn)行BN操作，得到輸出特征圖out25_1；另一路為下采樣結(jié)構(gòu)，先進(jìn)行一個卷積核為1*1、輸入通道數(shù)為256、輸出通道數(shù)為512、步長為2無填充的卷積操作，之后進(jìn)行BN操作得到輸出特征圖out25_2，輸出特征圖out25_2與輸出特征圖out25_1相加，得到尺寸為512*32*32的第五卷積層的最終輸出特征圖out25；

步驟3：將最終輸出特征圖out25加入FPN結(jié)構(gòu)，提取5張不同分辨率的特征圖out3；

步驟4：設(shè)置RPN網(wǎng)絡(luò)，采用長寬比例為0.8和1.0以及面積為52、152、202來生成錨點(diǎn)框?qū)μ卣鲌Dout3進(jìn)行區(qū)域生成，確定可能有目標(biāo)的位置；

步驟5：ROI池化層根據(jù)可能有目標(biāo)的位置，在特征圖中提取相應(yīng)的特征向量，之后分為兩個分支，其中一個分支使用SoftMax分類獲得該位置目標(biāo)的類別，另一個分支利用BBox-Regression微調(diào)檢測到的位置框以獲得最終的準(zhǔn)確位置。